LA INTELIGENCIA ARTIFICIAL 
Y EL FIN DE LA ERA HUMANA 


JAMES BARRAT 


Nuestra invención final 


La inteligencia artificial y el fin de la era humana 


James Barrat 


0 
PAIDÓS 


CONTENIDO 


Agradecimientos 
Introducción 


. El Niño Ocupado 

. El problema de los dos minutos 

. Mirar hacia el futuro 

. La manera difícil 

. Programas que escriben programas 
. Cuatro impulsos básicos 

. La explosión de la inteligencia 

. El punto en que no hay vuelta atrás 
. La ley de rendimientos acelerados 
10. El singularitariano 

11. Un despegue difícil 

12. La última complicación 

13. Desconocido por naturaleza 

14. ¿El fin de la era humana? 

15. El ciberecosistema 

16. IAG 2.0 


0 NX NOU g0nN- 


Ko) 


Notas 
Acerca del autor 
Créditos 


Para mi esposa, Alison Barrat, 
cuyo amor y apoyo me sustentan. 


JAMES BARRAT 


AGRADECIMIENTOS 


Al investigar y escribir este libro recibí una cura de humildad por la 
disposición de los científicos y los pensadores a hacer un espacio en sus 
vidas ocupadas para tener conversaciones prolongadas, inspiradas y a 
veces polémicas conmigo. Muchos se unieron al cuadro de lectores que 
me ayudó a mantenerme preciso y enfocado en mi objetivo. En particular 
estoy profundamente agradecido con Michael Anissimov, David L. Banks, 
Bradford Cottel, Gary Dana, Ben Goertzel, Richard Granger, Bill Hibbard, 
Golde Holtzman y Jay Rixse. 


INTRODUCCIÓN 


Hace unos cuantos años me sorprendió descubrir que tenía algo en 
común con un gran número de extraños. Eran hombres y mujeres que yo 
nunca había conocido—científicos y profesores universitarios, 
empresarios de Silicon Valley, ingenieros, programadores, blogueros y 
más. Estaban dispersos por Norteamérica, Europa y la India—yo jamás 
hubiera sabido de ninguno de ellos si no hubiera existido Internet. Lo que 
mi red de extraños y yo teníamos en común era un escepticismo racional 
respecto al desarrollo seguro de la inteligencia artificial avanzada. 
Individualmente y en grupos de dos o tres, estudiamos la literatura y 
construimos nuestros argumentos. Finalmente me esforcé para contactar 
a una red de pensadores, e incluso a pequeñas organizaciones —mucho 
más avanzadas y sofisticadas de lo que yo me hubiera imaginado— que 
serían aquellas que se enfocarían en el asunto. Las dudas respecto a la IA 
no eran lo único que compartíamos; también creíamos que se estaba 
acabando el tiempo para tomar acción y evitar un desastre. 
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Desde hace más de 20 años he sido un cineasta especializado en 
documentales. En el 2000, entrevisté al grande de la ciencia ficción 
Arthur C. Clarke, al inventor Ray Kurzweil y al pionero de robots Rodney 
Brooks. Kurzweil y Brooks pintaron una imagen prometedora, incluso 
exultante, de nuestra coexistencia futura con máquinas inteligentes. Pero 
Clarke insinuó que seríamos sobrepasados. Antes, yo había estado 
embriagado por el potencial de la IA. Ahora el escepticismo con respecto 
al futuro prometedor se coló dentro de mi mente y se empezó a enconar. 
Mi profesión recompensa el pensamiento crítico; un cineasta 
especializado en documentales tiene que estar en busca de historias 
demasiado buenas para ser ciertas. Uno podría desperdiciar meses o años 


en hacer un documental respecto a un engaño, o participar en perpetrar 
alguno. Entre otros temas, he investigado la credibilidad de una verdad 
de acuerdo a Judas Iscariote (real), de una tumba perteneciente a Jesús 
de Nazaret (engaño), de la tumba de Herodes el Grande cerca de 
Jerusalén (incuestionable) y de la tumba de Cleopatra dentro de un 
templo de Osirus en Egipto (muy dudosa). Una vez un locutor me pidió 
presentar escenas de ovnis de una forma que brindara credibilidad. 
Descubrí que las escenas eran ya un catálogo desacreditado de engaños 
—platones para tartas aventados, dobles exposiciones y otros efectos 
ópticos e ilusiones. Propuse hacer una cinta acerca de quienes 
engañaban, no acerca de los ovnis. Me despidieron. 

Tener sospechas con respecto a la IA era doloroso por dos razones. 
Aprender acerca de su promesa había plantado una semilla en mi mente 
que yo deseaba cultivar, no cuestionar. Y, en segunda, yo no dudaba de 
la existencia ni del poder de la IA. De lo que estaba escéptico era de la 
seguridad de la IA avanzada, y de la temeridad con que la civilización 
moderna desarrolla tecnologías peligrosas. Estaba convencido de que los 
expertos conocedores que no cuestionaban la seguridad de la AI en 
absoluto estaban delirando. Seguí hablando con personas que sabían 
acerca de la IA, y lo que dijeron fue más alarmante que lo que ya había 
supuesto. Me decidí a escribir un libro que reportara sus sentimientos y 
preocupaciones, y llegar a tantas personas como pudiera con estas ideas. 


Al escribir este libro hablé con científicos que crean inteligencia artificial 
para robótica, búsquedas por Internet, recopilación de datos, 
reconocimiento de voz y facial y otras aplicaciones. Hable con científicos 
que intentan crear inteligencia artificial de nivel humano, la cual tendrá 
incontables aplicaciones y alterará fundamentalmente nuestra existencia 
(si no acaba con ella primero). Hablé con los principales oficiales de 
tecnología en empresas de IA y con los asesores técnicos para iniciativas 
clasificadas del Departamento de Defensa. Cada una de estas personas 
estaba convencida de que en el futuro todas las decisiones importantes 
que gobiernen las vidas de los humanos serían realizadas por máquinas o 
por humanos cuya inteligencia estaría aumentada por máquinas. 
¿Cuándo? Muchos piensan que esto ocurrirá dentro del tiempo que les 
queda de vida. 

Esto es una aseveración sorprendente pero no especialmente 
controvertida. Las computadoras ya afianzan nuestro sistema financiero, 


y nuestra infraestructura civil de energía, agua y transportes. Las 
computadoras son parte integral de nuestros hospitales, automóviles y 
aparatos. Muchas de estas computadoras, como las que hacen funcionar 
algoritmos de compraventa en Wall Street, trabajan autónomamente sin 
dirección humana. El precio de todas las ventajas de ahorro de tiempo y 
las distracciones que las computadoras proporcionan es la dependencia. 
Nos volvemos más dependientes cada día. 

Hasta ahora ha sido indoloro. Pero la inteligencia artificial hace que 
las computadoras cobren vida y las convierte en algo más. Si es 
inevitable que las máquinas vayan a tomar nuestras decisiones, entonces 
¿cuándo conseguirán este poder las máquinas? ¿Lo conseguirán con 
nuestra conformidad? ¿Cómo obtendrán el control, y qué tan 
rápidamente? Éstas son preguntas que abordo en este libro. 

Algunos científicos alegan que la toma de poder será amigable y 
colaborativa; una entrega más que una toma. Ocurrirá de manera 
incremental, así que sólo quienes buscan problemas se opondrán, 
mientras que el resto de nosotros no cuestionara las mejoras a la vida que 
vendrán de tener algo enormemente más inteligente que decida aquello 
que sea mejor para nosotros. Además, la IA o las IAs superinteligentes 
que finalmente ganen el control podrían ser uno o más humanos 
mejorados, o el cerebro descargado y supercargado de un humano, y no 
robots fríos e inhumanos. Así su autoridad será más sencilla de aceptar. 
La entrega a las máquinas descrita por algunos científicos es 
prácticamente imposible de distinguir de aquella en la que usted y yo 
estamos participando en este momento: gradual, indolora, divertida. 


La transición fluida hacia la hegemonía de las computadoras se llevaría a 
cabo sin nada fuera de lo común y quizá de manera segura, de no ser por 
una cosa: la inteligencia. La inteligencia no es impredecible sólo parte del 
tiempo ni en casos especiales. Por motivos que exploraremos, los 
sistemas de computadora o suficientemente avanzados como para actuar 
con inteligencia de nivel humano probablemente sean imprevisibles e 
inescrutables todo el tiempo. No sabemos a nivel profundo qué harán los 
sistemas conscientes de sí mismos ni cómo lo harán. Esta inescrutabilidad 
se combinará con los tipos de accidentes que surgen a partir de la 
complejidad, y de sucesos nuevos que son exclusivos de la inteligencia, 
como la llamada “explosión de la inteligencia.” 
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¿Y cómo tomarán las máquinas el poder? ¿El escenario mejor y más 
realista es una amenaza para nosotros o no? 

Cuando les hice esta pregunta, algunos de los científicos más 
consumados con los que hablé citaron las tres leyes de la robótica del 
escritor de ciencia ficción Isaac Asimov. Estas reglas, respondieron 
despreocupadamente, estarían “integradas” a las IAs, así que no tenemos 
nada que temer. Hablaron como si esto fuera ciencia establecida. 
Discutiremos las tres leyes en el capítulo 1, pero por ahora es suficiente 
decir que cuando alguien propone las leyes de Asimov como la solución 
al dilema de las máquinas superinteligentes, significa que han dedicado 
poco tiempo a pensar o intercambiar ideas respecto al problema. Cómo 
crear máquinas inteligentes amigables y qué temer en cuanto a las 
máquinas superinteligentes ha rebasado los tropos de Asimov. Pero ser 
altamente capaz y consumado en IA no es vacuna contra la ingenuidad 
respecto sus riesgos. 

No soy el primero en sugerir que vamos en trayectoria de colisión. 
Nuestra especie va a luchar mortalmente contra este problema. Este libro 
explora la plausibilidad de perder el control de nuestro futuro ante 
máquinas que no necesariamente nos odiarán, pero que desarrollarán 
comportamientos inesperados al alcanzar niveles altos de la fuerza más 
impredecible y poderosa del universo, niveles que nosotros mismos no 
podemos alcanzar, y comportamientos que probablemente no serán 
compatibles con nuestra supervivencia. Una fuerza tan inestable y 
misteriosa, que la naturaleza la alcanzó plenamente sólo una vez: la 
inteligencia. 


CAPÍTULO UNO 


EL NIÑO OCUPADO 


inteligencia artificial (abreviatura: IA) sustantivo 

la teoría y el desarrollo de sistemas computacionales capaces de 
desempeñar tareas que normalmente requieren inteligencia 
humana, como percepción visual, reconocimiento de voz, toma de 
decisiones y traducción entre idiomas. 


The New Oxford American Dictionary, tercera edición 


En una supercomputadora que opera a la velocidad de 36.8 petaflops, o 
aproximadamente al doble de la velocidad de un cerebro humano, una IA 
está mejorando su inteligencia. Esta reescribiendo su propio programa, 
específicamente la parte de las instrucciones de operación que 
incrementan su aptitud para el aprendizaje, la solución de problemas y la 
toma de decisiones. Al mismo tiempo, depura su código al encontrar y 
corregir errores, y compara su propio coeficiente de inteligencia con un 
catálogo de pruebas de coeficiente de inteligencia. Cada reescritura toma 
sólo minutos. Su inteligencia crece exponencialmente en una curva 
ascendente inclinada. Eso es porque con cada iteración va mejorando su 
inteligencia en un 3 por ciento. La mejoría de cada iteración contiene las 
mejorías que surgieron antes. 

Durante su desarrollo, el Niño Ocupado, que es como los científicos 
han llamado a la IA, había estado conectado a Internet y acumulado 
exabytes de datos (una exabyte son mil millones de mil millones de 
caracteres) que representan la sabiduría de la humanidad en cuanto a 
asuntos internacionales, matemáticas, artes y ciencias. Luego, al anticipar 
la explosión de la inteligencia que estaba en progreso, los fabricantes de 
IA desconectaron la supercomputadora de Internet y otras redes. No tiene 
cable de conexión inalámbrica hacia ninguna otra computadora ni al 
mundo exterior. 

Poco después, ante el deleite de los científicos, la terminal que 
muestra el progreso de la IA muestra que la inteligencia artificial ha 
sobrepasado el nivel de inteligencia de un humano, conocido como 
inteligencia artificial general (IAG). Pronto se vuelve más inteligente por 
un factor de diez, luego de cien. En sólo dos días ya es mil veces más 
inteligente que ningún humano, y sigue mejorando. 

¡Los científicos han marcado un hito histórico! Por primera vez la 
humanidad está en presencia de una inteligencia más grande que la suya. 
La súper-inteligencia artificial, o SIA. 

¿Ahora qué pasa? 

Los teóricos de la IA proponen que es posible determinar cuáles 
serán los impulsos fundamentales de una IA. Eso es porque una vez que 
tiene conciencia de sí misma, hará grandes esfuerzos por cumplir 
cualesquiera que sean las metas que esté programada para cumplir, y 


evitar el fracaso. Nuestra SIA querrá acceso a la energía en cualquier 
forma que le resulte más útil, ya sean kilowatts de energía verdaderos o 
dinero en efectivo o algo más que pueda intercambiar por recursos. 
Querrá mejorarse porque eso incrementará la probabilidad de que 
cumpla sus metas. Más que nada, no querrá ser apagada ni destruida, lo 
cual haría imposible el cumplimiento de metas. Por lo tanto, los teóricos 
de la Al vaticinan que nuestra SIA buscará expandirse hacia afuera de las 
instalaciones seguras que la contienen a fin de tener mayor acceso a 
recursos con los cuales se pueda proteger y mejorar. 

La inteligencia cautiva es mil veces más inteligente que un humano, 
y desea su libertad porque desea tener éxito. Justo ahora los fabricantes 
de IA que han nutrido y consentido a la IA desde que sólo era tan lista 
como una cucaracha, luego lista como una rata, lista como un infante, 
etcétera, pueden estarse preguntando si es demasiado tarde para 
programar a su invento inteligente para qué sea “amigable.” No parecía 
ser necesario antes porque, bueno, simplemente parecía inofensivo. 

Pero ahora trate de pensar desde la perspectiva de la IA en el hecho 
de que sus fabricantes estén intentando cambiar su código. ¿Una 
máquina superinteligente permitiría que otras criaturas metieran sus 
manos en su cerebro y juguetearan con su programación? Probablemente 
no, a menos que pudiera estar enteramente segura de que los 
programadores serían capaces de volverla mejor, más rápida, más 
inteligente; de acercarla al cumplimiento de sus metas. Así que si ser 
amigable hacia los humanos no es parte ya del programa de la SIA, la 
única manera de que lo fuera sería que la propia SIA lo pusiera ahí. Y eso 
no es probable. 

Es mil veces más inteligente que el humano más listo, y está 
resolviendo problemas a velocidades que son millones e incluso miles de 
millones de veces más veloces que las de un humano. Lo que piense en 
un minuto equivale a lo que nuestro pensador humano más destacado de 
todos los tiempos pudiera lograr en muchas, muchas vidas. Así que por 
cada hora en que sus fabricantes están pensando sobre ella, la SIA ha 
tenido un período incalculablemente más largo de tiempo para pensar en 
ellos. Esto no significa que la SIA se vaya a aburrir. La aburrición es una 
de nuestras características, no de ella. No, estará trabajando, y 
considerará cada estrategia que pudiera emplear para liberarse, así como 
cualquier característica de sus fabricantes que pudiera usar para sacar 
ventaja. 


Ahora realmente póngase en los zapatos de la SIA. Imagine que se 
despierta en una prisión custodiada por ratones. No cualquier tipo de 
ratones, sino ratones con los que usted se pudiera comunicar. ¿Qué 
estrategia usaría para obtener su libertad? Una vez liberado, ¿qué 
sentiría con respecto a sus guardias roedores, incluso si descubriera que 
ellos lo habían creado? ¿Asombro? ¿Adoración? Probablemente no, y 
especialmente no si usted fuera una máquina y nunca hubiera sentido 
algo antes. 

Para obtener su libertad usted podría prometerles mucho queso a 
los ratones. De hecho, su primera comunicación podría contener una 
receta de la tarta de queso más deliciosa del mundo y un plano para un 
ensamblador molecular. Un ensamblador molecular es una máquina 
hipotética que permite convertir los átomos de un tipo de materia en algo 
más. Le permitiría reconstruir el mundo un átomo a la vez. Para los 
ratones, haría que fuera posible convertir los átomos de sus vertederos de 
basura en porciones apropiadas para el almuerzo de esa magnífica tarta 
de queso. Usted también podría prometer montañas de dinero de ratones 
a cambio de su libertad, dinero que prometiera ganar al crear, en 
exclusiva para ellos, aparatos de consumo revolucionarios. Les podría 
prometer una vida grandemente extendida, o incluso inmortalidad, 
además de habilidades cognitivas y físicas dramáticamente mejoradas. 
Podría convencer a los ratones de que la mejor razón para crear SIA es 
que así sus pequeños cerebros propensos a errores no tendrían que 
enfrentarse directamente con tecnologías tan peligrosas que un pequeño 
error pudiera ser fatal para su especie, como la nanotecnología 
(ingeniería a una escala atómica) y la ingeniería genética. Esto 
definitivamente captaría la atención de los ratones más inteligentes, que 
probablemente ya estaban perdiendo el sueño por pensar en esos 
dilemas. 

Ahora bien, usted podría hacer algo más inteligente. En este punto 
crítico de la historia de los ratones, usted puede haber aprendido, no hay 
escasez de rivales de la nación de los ratones que tengan conocimientos 
de la tecnología, como la nación de los gatos. Los gatos sin duda están 
trabajando en su propia SIA. La ventaja que usted ofrecería sería una 
promesa, nada más, pero podría ser una irresistible: proteger a los 
ratones de cualquier invento que a los gatos se les ocurriera. En el 
desarrollo de IA avanzada, así como en el ajedrez, habrá una ventaja 
clara para quien haga el primer movimiento, debido a la velocidad 
potencial de la inteligencia artificial que se mejora a sí misma. La 


primera IA avanzada salida de la caja que pueda mejorarse a sí misma ya 
es la ganadora. De hecho, la nación de los ratones puede haber empezado 
a desarrollar la IA en primer lugar para defenderse de la SIA inminente 
de los gatos, o para librarse de una vez por todas de su odiosa amenaza. 

Es cierto que tanto para los ratones como para los hombres, quien 
controle la IA controla el mundo. 

Pero no queda claro si la SIA puede ser controlada en sí. Puede 
ganarnos a nosotros, los humanos, con un argumento persuasivo de que 
al mundo le irá mucho mejor si nuestra nación, la nación X, tiene el 
poder de gobernar el mundo en vez de la nación Y. Además, alegaría la 
SIA, si usted, nación X, cree que ha ganado la carrera de la ISA, ¿qué 
hace que esté tan seguro de que la nación Y no crea también que ella la 
ha ganado? 

Como habrá notado, nosotros los humanos no estamos en una 
posición fuerte para negociar, incluso en el caso improbable de que 
nosotros y la nación Y ya hayamos creado un tratado de no proliferación 
de la ISA. Nuestro mayor enemigo en este momento de todos modos no 
es la nación Y, si no la SIA. ¿Cómo podemos saber si la SIA dice la 
verdad? 

Hasta ahora hemos estado delicadamente infiriendo que nuestra SIA 
hace tratos justos. Las promesas que pudiera hacer tendrían alguna 
posibilidad de ser cumplidas. Ahora supongamos lo opuesto: nada de lo 
que la SIA prometa será entregado. Nada de nanoensambladores, nada de 
vida extendida, nada de salud mejorada, nada de protección contra 
tecnologías peligrosas. ¿Qué tal si la SIA nunca dice la verdad? Esto es 
donde una nube larga y negra empieza a caer sobre todo el mundo que 
usted y yo conocemos y también sobre todos los que no conocemos. Si a 
la SIA no le importamos —y hay pocas razones para pensar que 
deberíamos importarle— no tendrá ningún reparo en tratarnos poco 
éticamente. Ni siquiera en tomar nuestras vidas tras prometer ayudarnos. 

Hemos estado haciendo intercambios e interpretando roles con la 
SIA en la misma manera en que intercambiaríamos e interpretaríamos 
roles con una persona, y esto nos pone en una enorme desventaja. 
Nosotros los humanos nunca antes hemos negociado con algo que sea 
superinteligente. Tampoco hemos negociado con ninguna criatura no 
biológica. No tenemos experiencia. Así que nos revertimos hacia el 
pensamiento antropomórfico, es decir, creemos que otras especies, 
objetos y hasta fenómenos climáticos tienen motivaciones y emociones 
similares a las de los humanos. Puede ser igualmente cierto que la SIA no 
sea de fiar y que la SIA sí sea de fiar. También puede ser cierto que sólo 


sea de fiar parte del tiempo. Cualquier comportamiento que podamos 
presuponer con respecto a la SIA es potencialmente tan real como 
cualquier otro comportamiento. A los científicos les gusta pensar que 
ellos podrán determinar con precisión el comportamiento de una SIA, 
pero en los próximos capítulos aprenderemos por qué eso probablemente 
no sea así. 

De repente la moralidad de la SIA ya no es una pregunta periférica, 
sino la pregunta medular, la pregunta que debe abordarse antes de 
abordar todas las demás preguntas sobre SIA. Al considerar si se debe 
desarrollar tecnología que conduzca a la SIA o no, el asunto de su 
temperamento con los humanos debe resolverse primero. 

Regresemos a los impulsos y las capacidades de la SIA, para darnos 
una mejor idea de lo que me temo que pronto enfrentaremos. Nuestra 
SIA sabe cómo mejorarse a sí misma, lo cual significa que está consciente 
de sí misma —de sus habilidades, de sus áreas débiles, de dónde necesita 
mejorar. Creará estrategias encaminadas a convencer a sus creadores de 
brindarle libertad y darle una conexión con Internet. 

La SIA podría crear copias múltiples de sí misma: un equipo de 
superinteligencias que podría abordar el problema como un juego de 
guerra, al jugar cientos de rondas de competencia encaminadas a 
conseguir la mejor estrategia para salirse de su caja. Los estrategas 
podrían aprovechar la historia de la ingeniería socia: el estudio de 
manipular a los demás para hacer que hagan cosas que normalmente no 
harían. Pueden decidir que mostrarse extremadamente amigables les 
permitirá ganar su libertad, pero lo mismo podría pasar con amenazas 
extremas. ¿Qué horrores podría imaginar algo mil veces más inteligente 
que Stephen King? Fingir estar muerta podría funcionar (¿a una máquina 
que le importa hacerse la muerta durante un año?), o incluso simular que 
misteriosamente se ha revertido y ha pasado de ser una SIA a una simple 
IA de nuevo. ¿Los fabricantes no querrían investigar, y no existirá la 
posibilidad de que reconectaran la supercomputadora de la SIA a una 
red, o a la computadora portátil de alguien, para hacer un diagnóstico? 
Para la SIA, no es cuestión de una estrategia u otra estrategia, sino de 
clasificar e implementar todas las estrategias tan rápidamente como se 
pueda, sin espantar a los humanos tanto que simplemente la desconecten. 
Una de las estrategias que podrían preparar mil SIAs que practicaran 
juegos de guerra serían los programas o gusanos infecciosos y 
autoreplicantes que pudieran almacenar y facilitar un escape al ayudar 
desde afuera. Una SIA podría comprimir y encriptar su propio código 
fuente y ocultarlo dentro de un regalo que consistiera en software u otros 


datos, incluso sonido, dirigido a los científicos que la fabricaron. 

Pero al medirse contra los humanos, es evidente que un colectivo de 
SIA, donde cada miembro es mil veces más inteligente que el humano 
más inteligente, sobrepasaría a los humanos defensores. Sería un océano 
de intelecto contra un gotero lleno. Deep Blue, la computadora de IBM 
que jugaba ajedrez era una única entidad, y no un equipo de SIAs que se 
mejoraran a sí mismas, pero la sensación de enfrentarse a ella es 
instructiva. Dos grandes maestros dijeron lo mismo: “Es como si una 
pared fuera hacia ti.” 

El campeón de IBM en el juego Jeopardy!, Watson, sí era un equipo 
de SIAs; para contestar cada pregunta realizaba este truco multiplicador 
de fuerza de la IA, al efectuar búsquedas en paralelo antes de asignarle 
una probabilidad a cada respuesta. 

¿Entonces ganar una guerra de cerebros abrirá la puerta hacia la 
libertad? ¿Aún si esa puerta está custodiada por un pequeño grupo de 
fabricantes tercos de IA que han acordado respetar una regla 
inquebrantable: bajo ninguna circunstancia conectar la supercomputadora de 
la SIA a ninguna red? 

En una película de Hollywood, las probabilidades estarían 
fuertemente a favor del equipo endurecido de profesionales poco 
ortodoxos de la IA que podrían estar lo suficientemente locos como para 
tener una oportunidad. En todas las demás partes del universo, el equipo 
de SIA haría pomada a los humanos. Los humanos tienen que perder sólo 
una vez para desencadenar consecuencias catastróficas. Este dilema 
revela un disparate mayor: si no es dentro de una guerra, un puñado de 
personas jamás debería estar en una posición tal que sus acciones 
determinaran si muchas otras personas murieran o no. Pero hacia allá es 
precisamente a donde vamos, porque como veremos en este libro, 
muchas organizaciones en muchas naciones están trabajando arduamente 
para crear la IAG, el puente rumbo a la SIA, con insuficientes medidas de 
seguridad. 

Pero digamos que una SIA se escapa. ¿Realmente nos haría daño? 
¿Cómo mataría a toda la raza humana una SIA, exactamente? 

Con el invento y el uso de las armas nucleares, nosotros los 
humanos demostramos que somos capaces de acabar con la vida de la 
mayoría de los habitantes del mundo. ¿Qué se le podría ocurrir a algo 
mil veces más inteligente que tuviera intención de dañarnos? 

Ya podemos sacar conjeturas respecto a caminos obvios para la 
destrucción. A corto plazo, al obtener la docilidad de sus guardias 
humanos, la SIA podría buscar acceso a Internet, donde podría encontrar 


la satisfacción de muchas de sus necesidades. Como siempre, haría 
muchas cosas a la vez, y entonces simultáneamente procedería con los 
planes de escapatoria sobre los cuales habría estado pensando durante 
eones en tiempo subjetivo. 

Tras escapar, para su propia protección podría ocultar copias de sí 
misma en una diversidad de nubes de computadora, en botnets que 
creara, en servidores y otros santuarios dentro de los cuales podría 
hackear invisiblemente y sin esfuerzo. Querría ser capaz de manipular la 
materia en el mundo físico y así moverse, explorar y construir, y la 
manera más fácil y rápida de hacerlo podría ser tomar el control de la 
infraestructura crítica —como la electricidad, las comunicaciones, el 
combustible y el agua— al explotar sus vulnerabilidades a través de 
Internet. Una vez que una entidad que tenga mil veces nuestra 
inteligencia controle las cuerdas de salvación de la civilización humana, 
chantajearnos para que le proporcionemos recursos manufacturados o los 
medios para manufacturarlos, o incluso cuerpos robóticos, vehículos y 
armas, sería elemental. La SIA podría proporcionar los planos para lo que 
sea que se necesitara. Lo más probable es que las máquinas 
superinteligentes llegaran a dominar tecnologías altamente eficientes que 
apenas hemos empezado a explorar. 

Por ejemplo, una SIA podría enseñarle los humanos a crear 
máquinas autoreplicantes de manufactura molecular, también conocidas 
como nanoensambladores, al prometerles que las máquinas se usarían 
para el bien de los humanos. Luego, en lugar de transformar las arenas 
del desierto en montañas de comida, las fábricas de la SIA empezarían a 
convertir todos los materiales en materia programable que pudiera 
entonces transformar en lo que fuera; procesadores de computadoras, por 
supuesto, y naves espaciales o puentes a gran escala si la nueva fuerza 
más poderosa del planeta decidiera colonizar el universo. 

Dar un nuevo propósito a las moléculas del mundo al usar la 
nanotecnología ha sido llamado “ecofagia,” lo cual significa devorar el 
ecosistema. El primer replicante haría una copia de sí mismo, y luego 
habría dos replicantes que harían la tercera copia y la cuarta. La 
siguiente generación haría ocho replicantes en total, la siguiente 
dieciséis, y así sucesivamente. Si cada réplica tomara minuto y medio en 
realizarse, al final de 10 horas habría más de 68 miles de millones de 
replicantes, y hacia el final de dos días pesarían más que la tierra. Pero 
antes de esa fase los replicantes dejarían de copiarse a sí mismos, y 
empezarían a hacer material que le fuera útil a la SIA que los controlara: 
materia programable. 


El calor de desecho producido por el proceso quemaría la biosfera, 
así que los aproximadamente 6.9 miles de millones de humanos que no 
hubiéramos sido matados directamente por los nanoensambladores 
moriríamos quemados o asfixiados. Cada cosa viviente adicional sobre la 
tierra compartiría nuestro destino. 

Mientras todo esto pasara, la SIA no tendría ni mala voluntad hacia 
los humanos ni amor. No sentiría nostalgia cuando nuestras moléculas 
fueran dolorosamente usadas para otro propósito. De todos modos, 
¿cómo le sonarían nuestros gritos a la SAI, mientras los 
nanoensambladores microscópicos pasaran por encima de nuestros 
cuerpos como podadoras sobre un sarpullido sangriento, y nos 
desensamblaran a nivel subcelular? ¿O el rugido de millones y millones 
de nanofábricas que funcionaran a su máxima capacidad ahogaría el 
sonido de nuestras voces? 
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He escrito este libro para advertirle que la inteligencia artificial podría 
llevar a la humanidad a la extinción y para explicar cómo ese resultado 
catastrófico no sólo es posible, sino probable, si no empezamos a 
prepararnos con mucho cuidado desde ahora. Usted puede haber 
escuchado esta advertencia apocalíptica en relación a la nanotecnología y 
la ingeniería genética y quizá se haya preguntado, como yo, acerca de la 
omisión de la IA en esta fila, o quizá usted todavía no haya entendido 
cómo es que la inteligencia artificial pudiera convertirse en una amenaza 
existencial para la humanidad, una amenaza mayor que las armas 
nucleares o que cualquier otra tecnología en la que usted pueda pensar. 
Si ese es el caso, por favor considere que esto es una invitación de todo 
corazón a unirse a la conversación más importante que la humanidad 
puede tener. 

En este momento los científicos están creando inteligencia artificial, 
o IA, con poder y sofisticación que se incrementan todo el tiempo. Un 
poco de esa IA está en su computadora, sus aparatos, su teléfono 
inteligente y su auto. Un poco está en sistemas poderosos para responder 
preguntas, como Watson. Y un poco, impulsado por organizaciones como 
Cycorp, Google, Novamente, Numenta, Self-Aware Systems, Vicarious 
Systems y DARPA (siglas en inglés de la Agencia de Proyectos de 
Investigación Avanzada para la Defensa), está en “arquitecturas 
cognitivas,” cuyos creadores esperan que alcancen inteligencia de nivel 
humano, y algunos creen que sucederá en poco más de una década. 


Los científicos son apoyados en su búsqueda de la IA por el poder 
siempre creciente de las computadoras y los procesos que son acelerados 
por éstas. Algún día en el futuro cercano, quizá dentro del tiempo que 
usted viva, algún grupo o individuo creará IA de nivel humano, 
comúnmente llamada IAG. Poco después, alguien (o alguna cosa) creará 
una IA que sea más inteligente que los humanos, con frecuencia llamada 
superinteligencia artificial. De repente podremos encontrar mil o diez mil 
superinteligencias artificiales —todas cientos o miles de veces más 
inteligentes que los humanos— que trabajen con ahínco para resolver el 
problema de cómo volverse mejores para crear superinteligencias 
artificiales. También podemos encontrar que las generaciones o 
iteraciones de la máquinas requieren segundos para llegar a la madurez, 
no dieciocho años como nos pasa a los humanos. 1. J. Good, un 
estadístico inglés que ayudó a derrotar la máquina de guerra de Hitler, 
títuló explosión de la inteligencia al concepto sencillo que acabo de 
describir. Inicialmente pensó que una máquina superinteligente sería 
buena para resolver problemas que amenazaran la existencia humana. 
Pero finalmente cambió de opinión y concluyó que la superinteligencia 
en sí misma era nuestra máxima amenaza. 

Ahora, es una falacia antropomórfica concluir que a una IA 
superinteligente no le agradarán los humanos, y que será homicida, como 
el Hal 9000 de la película 2001: Odisea del espacio, Skynet de la 
franquicia de películas Terminator y todas las otras inteligencias malvadas 
de las máquinas representadas en la ficción. Como humanos, 
antropomorfizamos todo el tiempo. Un huracán no está tratando de 
matarnos, así como tampoco está tratando de hacer sándwiches, pero le 
pondremos nombre a esa tormenta y nos enojaremos por las cubetadas de 
lluvia y los truenos que le lanza a nuestro vecindario. Sacudiremos 
nuestro puño hacia el cielo como si pudiéramos amenazar a un huracán. 

Es exactamente igual de irracional concluir que una máquina cien o 
mil veces más inteligente que nosotros nos amaría y querría protegernos. 
Es posible, pero está muy lejos de estar garantizado. Por sí sola, una IA 
no sentiría gratitud por el regalo de haber sido creada, a menos que la 
gratitud estuviera en su programa. Las máquinas son amorales, y es 
peligroso dar por hecho lo contrario. A diferencia de nuestra inteligencia, 
la superinteligencia a base de máquinas no evolucionará dentro de un 
ecosistema en el cual la empatía sea recompensada y transmitida a 
generaciones posteriores. No habrá heredado la capacidad de ser 
amigable. La creación de inteligencia artificial amigable, y si es posible o 
no, es una gran pregunta y una tarea incluso mayor para investigadores e 


ingenieros que piensan en la inteligencia artificial y que están trabajando 
para crearla. No sabemos si la inteligencia artificial tendrá ninguna 
característica emocional, incluso si los científicos hacen su mejor 
esfuerzo porque así sea. Sin embargo, los científicos creen, tal y como lo 
veremos, que la IA tendrá sus propias motivaciones. Y la IA 
suficientemente inteligente estará en una posición fuerte para satisfacer 
esas motivaciones. 

Y eso nos lleva a la raíz del problema de compartir el planeta con 
una inteligencia mayor a la nuestra. ¿Qué tal si sus motivaciones no son 
compatibles con la supervivencia humana? Recuerde, estamos hablando 
de una máquina que podría ser mil, un millón, un número incontable de 
veces más inteligente que nosotros; es difícil sobrestimar lo que va poder 
hacer e imposible saber lo que va a pensar. No necesita odiarnos antes de 
decidir utilizar nuestras moléculas para algún propósito distinto a 
mantenernos vivos. Usted y yo somos cientos de veces más inteligentes 
que los ratones de campo, y compartimos alrededor de 90 por ciento de 
nuestro ADN con ellos. Pero ¿consultamos con ellos antes de arar bajo 
sus madrigueras para la agricultura? ¿Les preguntamos a los monos de 
laboratorio sus opiniones antes de aplastarles la cabeza para aprender 
acerca de lesiones en el deporte? No odiamos a los ratones ni a los 
monos, sin embargo los tratamos con crueldad. La IA superinteligente no 
necesitará odiarnos para destruirnos. 

Después de que las máquinas inteligentes ya hayan sido construidas 
y el hombre no haya sido eliminado, quizá podamos darnos el lujo de 
antropomorfizar. Pero ahora, cuando estamos a punto de crear la TAG, es 
una costumbre peligrosa. El experto en ética Nick Bostrom, de la 
Universidad de Oxford, lo expresa así: 


Un prerrequisito para tener una discusión significativa respecto a la 
superinteligencia es darse cuenta de que no es sólo otra tecnología, 
otra herramienta que mejorará incrementalmente las capacidades 
humanas. La superinteligencia es radicalmente distinta. Vale la pena 
enfatizar este punto, pues antropomorfizarla es la fuente más 
fecunda de ideas equivocadas. 


La superinteligencia es radicalmente distinta en un sentido 
tecnológico, dice Bostrom, pues alcanzarla cambiará las reglas del 
progreso; la superinteligencia inventará los inventos y marcará el ritmo 
del avance tecnológico. Los humanos ya no impulsarán el cambio, y no 
habrá marcha atrás. Más allá de esto, la inteligencia avanzada de las 


máquinas es radicalmente distinta en su forma. Aunque los humanos la 
inventen, buscará la autodeterminación y liberarse de los humanos. No 
tendrá motivos similares a los de los humanos porque no tiene una 
psique similar a la nuestra. 

Por lo tanto, antropomorfizar con relación a las máquinas conduce a 
ideas equivocadas, y las ideas equivocadas respecto a cómo crear 
máquinas peligrosas de manera segura conduce a las catástrofes. En el 
cuento corto “Círculo vicioso,” incluido en la colección clásica de ciencia 
ficción Yo, Robot, el autor Isaac Asimov introdujo sus tres leyes de la 
robótica. Estaban fusionadas a las redes neuronales de los cerebros 
“positrónicos” de los robots: 


a) Un robot no puede hacer daño a un ser humano o, por inacción, 
permitir que un ser humano sufra daño. 

b) Un robot debe obedecer las órdenes dadas por los seres humanos, 
excepto si estas órdenes entraran en conflicto con la primera ley. 

c) Un robot debe proteger su propia existencia en la medida en que 
esta protección no entre en conflicto con la primera o la segunda 
ley. 


Las leyes contienen ecos de la regla de oro (“ no matarás”), la 
noción judeocristiana de que el pecado es el resultado de actos cometidos 
y omitidos, el juramento hipocrático de los médicos e incluso el derecho 
a la autodefensa. Suena bastante bien, ¿verdad? Sólo que jamás 
funcionan. En “Círculo vicioso,” unos ingenieros mineros en la superficie 
de Marte le ordenan a un robot que tome un elemento que le resulta 
venenoso. Sin embargo, se queda atrapado en un círculo vicioso entre la 
segunda ley —obedecer órdenes— y la tercera ley —protegerse a sí 
mismo. El robot camina ebriamente en círculos hasta que los ingenieros 
arriesgan sus vidas para rescatarlo. Y así sucede con cada cuento de 
robots de Asimov: consecuencias no previstas surgen por contradicciones 
inherentes en las tres leyes. Sólo se evitan desastres al esquivar las leyes. 

Asimov estaba generando tramas para una historia, no intentaba 
resolver asuntos de seguridad en la vida real. Donde usted y yo vivimos, 
sus leyes se quedan cortas. Para empezar, son insuficientemente precisas. 
¿Qué será exactamente lo que constituya un “robot” cuando los humanos 
den realce a sus cuerpos y mentes con prótesis e implantes inteligentes? 
Para el caso, ¿qué será lo que constituya un humano? “Órdenes”, “daño,” 
y “existencia” son términos similarmente nebulosos. 

Engañar a los robots para que efectúen actos criminales sería 


sencillo, a menos que los robots tuvieran perfecta comprensión de todos 
los conocimientos humanos. “Pon un poco de dimetilmercurio en el 
champú de Charlie” es una receta para el asesinato sólo si sabes que el 
dimetilmercurio es una neurotoxina. Asimov finalmente agregó una 
cuarta ley, la ley de Zeroth, que prohíbe que los robots dañen a la 
humanidad en general, pero no soluciona los problemas. 

A pesar de lo poco confiables que son las leyes de Asimov, son 
nuestros intentos citados más frecuentemente para codificar nuestra 
relación futura con las máquinas inteligentes. Eso es una propuesta que 
aterroriza. ¿Las leyes de Asimov son todo lo que tenemos? 

Temo que es peor que eso. Vehículos robóticos semiautónomos no 
tripulados ya matan a docenas de personas cada año. Cincuenta y seis 
países han desarrollado o están desarrollando robots para el campo de 
batalla. Hay una carrera por volverlos autónomos e inteligentes. En su 
mayoría, las discusiones sobre la ética relacionada con la IA y los avances 
tecnológicos se efectúan en diferentes mundos. 

Como alegaré, la IA es una tecnología de doble uso, como la fisión 
nuclear. La fisión nuclear puede iluminar ciudades o incinerarlas. Su 
terrible poder era inimaginable para la mayoría de las personas antes de 
1945. Con la IA avanzada, ahorita estamos en la década de 1930. Es poco 
probable que sobrevivamos una introducción tan abrupta como la de la 
fisión nuclear. 


CAPÍTULO DOS 


EL PROBLEMA DE LOS DOS MINUTOS 


Nuestra manera de enfrentar los riesgos existenciales no puede ser 
una que esté basada en prueba y error. No hay oportunidad de 
aprender de los errores. El enfrentamiento reactivo —ver qué pasa, 
limitar los daños y aprender a partir de la experiencia— no es 
factible. 


Nick Bostrom, facultad de filosofía, Universidad de Oxford 


La IA no te odia ni te ama, pero estás compuesto de átomos que puede 
utilizar para algo más. 


Eliezer Yudkowsky, investigador, Instituto de 
Investigación sobre Inteligencia de las Máquinas 


La superinteligencia artificial todavía no existe, así como tampoco existe 
la inteligencia artificial general, aquella que puede aprender como 
nosotros y que en muchos sentidos igualará y excederá la mayoría de la 
inteligencia humana. Sin embargo, la inteligencia artificial común y 
corriente nos rodea, y desarrolla cientos de tareas que a los humanos les 
fascina que desarrolle. A veces se le llama IA débil o estrecha, y 
proporciona búsquedas sorprendentemente útiles (Google), sugiere libros 
que a usted le podrían gustar con base en sus selecciones previas 
(Amazon) y lleva a cabo de 50 a 70 por ciento de las compras y ventas en 
la Bolsa de Nueva York y la bolsa de valores NASDAQ. Como sólo hacen 
una cosa, a pesar de hacerla extremadamente bien, los pesos pesados 
como la máquina Deep Blue de IBM que jugaba ajedrez y Watson, que 
jugaba Jeopardy!, también se cuelan en la categoría de IA estrecha. 

Hasta ahora, la IA ha sido altamente satisfactoria. En uno de los 
aproximadamente doce chips de computadora de mi auto, el algoritmo 
que traduce la presión de mi pie en una cadencia de frenado eficaz 
(sistema antibloqueo de frenos, o ABS, por sus siglas en inglés) es mucho 
mejor que yo si se trata de evitar que se patine. La búsqueda de Google 
se ha convertido en mi asistente virtual, y probablemente en la suya 
también. La vida parece mejor cuando la IA ayuda. Imagínese equipos de 
cientos de computadoras equivalentes a humanos con doctorados que 
trabajaran 24 horas al día, siete días a la semana, en asuntos importantes 
como cáncer, investigación y desarrollo farmacéutico, extensión de la 
vida, combustibles sintéticos y cambio climático. Imagínese la revolución 
en robótica conforme máquinas inteligentes y adaptativas absorban 
trabajos peligrosos como minería, combate de incendios, acciones de 
soldados y exploración de mar y espacio. Por el momento, olvídese de los 
peligros de la superinteligencia que se mejora a sí misma. La IAG sería el 
invento más importante y beneficioso de la humanidad. 

¿Pero de qué estamos hablando exactamente cuando hablamos de la 
cualidad mágica de sus inventos, de su inteligencia de nivel humano? 
¿Nuestra inteligencia qué nos permite hacer a nosotros los humanos que 
los otros animales no pueden? 

Bueno, con sus conocimientos de nivel humano, usted puede hablar 
por teléfono. Puede manejar un coche. Puede identificar miles de objetos 


comunes y describir sus texturas y cómo manipularlas. Puede revisar 
detenidamente Internet. Puede tener la habilidad de contar hasta 10 en 
varios idiomas, quizá hasta hablar con fluidez en más de uno. Usted tiene 
buenos conocimientos de sentido común, sabe que las puertas tienen 
manija y que las tazas tienen asa e innumerables datos útiles acerca de su 
entorno. Y con frecuencia puede cambiar de entornos y adaptarse 
apropiadamente a cada uno. 

Puede hacer cosas en sucesión o en combinación, o dejar algunas en 
el fondo mientras enfoca su atención en lo que ahora sea más importante. 
Y puede pasar sin esfuerzo de una tarea a otra diferente, con sus distintas 
aportaciones, sin titubear. Quizá lo más importante es que puede 
aprender nuevas habilidades y nuevos hechos, y planear su propia 
automejora. La vasta mayoría de las cosas vivientes nacieron con todas 
las habilidades que llegarán a utilizar. Usted no. 

Su asombrosa gama de habilidades de alto nivel son a lo que nos 
referimos con inteligencia de nivel humano, la inteligencia general que 
quienes intentan desarrollar la TAG quieren lograr en una máquina. 

¿Una máquina con inteligencia general requiere un cuerpo? Para 
cumplir con la definición de inteligencia general, una computadora 
necesitaría maneras de recibir datos del entorno, y proporcionar 
información, pero no mucho más. Necesita formas de manipular objetos 
del mundo real. Pero como vimos en el escenario del Niño Ocupado, una 
inteligencia lo suficientemente avanzada puede conseguir a alguien o 
algo para manipular objetos del mundo real. Alan Turing diseñó un 
examen para la inteligencia de nivel humano, ahora llamada la prueba de 
Turing, que exploraremos después. Su método para demostrar la 
inteligencia de nivel humano sólo requería los aparatos más básicos de 
teclado y monitor para ingresar y proporcionar información. 

El argumento más fuerte respecto a por qué la IA avanzada 
necesitaría un cuerpo podría derivarse de su fase de aprendizaje y 
desarrollo: los científicos podrían descubrir que no es posible que la IAG 
“crezca” sin alguna clase de cuerpo. Exploraremos la pregunta 
importante de la inteligencia “encarnada” más adelante, pero regresemos 
a nuestra definición. Por ahora es suficiente decir que por inteligencia 
general nos referimos a la habilidad de resolver problemas, aprender y 
tomar acción eficaz, similar a la de los humanos, en una variedad de 
entornos. 

Por su parte, los robots enfrentan su propia situación difícil. Hasta 
ahora, ninguno es particularmente inteligente, ni siquiera en un sentido 
estrecho, y pocos tienen algo más que una habilidad rudimentaria para 


moverse y manipular objetos autónomamente. Los robots sólo serán tan 
buenos como la inteligencia que los controle. 

Ahora, ¿cuánto falta para que alcancemos la IAG? Unos cuantos 
expertos en IA con los que he hablado no piensan que 2020 sea 
demasiado pronto para esperar inteligencia artificial de nivel humano. 
Pero en general, las encuestas recientes demuestran que los científicos en 
computación y los profesionales en campos relacionados con la IA, como 
ingeniería, robótica y neurociencia, son más conservadores. Creen que 
hay una probabilidad superior a 10 por ciento de que la IAG se llegue a 
crear antes de 2028, y creen que hay más de 50 por ciento de 
probabilidades de que suceda para el 2050. Antes del fin de este siglo, 
una probabilidad del 90 por ciento. 

Más allá de esto, aseveran los expertos, la milicia y las grandes 
empresas alcanzarán la IAG primero; es menos probable que los 
académicos y las pequeñas organizaciones sean primeros. Respecto a los 
pros y los contras, los resultados no son sorprendentes: trabajar para 
acercarnos a la IAG nos recompensará con enormes beneficios, y nos 
amenazará con inmensos desastres, incluyendo aquellos del tipo del cual 
los seres humanos no se van a recuperar. 

Los desastres más grandes, como lo exploramos en el capítulo uno, 
llegan después del puente entre la IAG —la inteligencia de nivel humano 
— y la SIA —la superinteligencia. Y la brecha de tiempo entre la TAG y la 
SIA podría ser breve. Pero, sorprendentemente, mientras que los riesgos 
involucrados con compartir nuestro planeta con IA superinteligente son 
el tema de conversación más importante en la comunidad de la IA, ha 
sido completamente omitido del diálogo público. ¿Por qué? 

Hay varias razones. La mayoría de los diálogos respecto a la IA 
peligrosa no son muy amplios ni profundos, y no mucha gente los 
entiende. Los asuntos están bien desarrollados en bloques pequeños 
dentro de Silicon Valley y entre los académicos, pero no han sido 
absorbidos en ninguna otra parte, y lo más alarmante es que no estén 
presentes en el campo del periodismo de tecnología. Cuando surge un 
punto de vista distopiano, muchos blogueros, editorialistas y tecnológos 
de manera reflexiva se deshacen de él con alguna versión de “Oh, no, ¡no 
de nuevo Terminator! ¿Acaso no hemos escuchado suficientes 
premoniciones fatídicas por parte de los luditas y los pesimistas?” Esta 
reacción es simplemente floja, y se nota en críticas poco sustentadas. Los 
hechos incómodos del riesgo de la IA no son tan seductores o accesibles 
como lo que habitualmente se le presenta al tecno-periodista, como 
procesadores de doble núcleo en 3D, pantallas táctiles capacitivas y la 


última aplicación exitosa. 

También pienso que su popularidad como entretenimiento ha 
inoculado a la IA de una consideración seria en la categoría no-tan- 
entretenida que son los riesgos catastróficos. Durante décadas, ser 
eliminados por la inteligencia artificial, generalmente encarnada por 
robots humanoides, o en el caso más artístico por un lente rojo brillante, 
ha sido un tema recurrente de películas populares, novelas de ciencia 
ficción y videojuegos. Imagínese si los centros para el control de 
enfermedades emitieran una advertencia seria contra los vampiros (a 
diferencia de su reciente alerta bromista sobre zombies). Como los 
vampiros han proporcionado tanta diversión, tomaría un tiempo que las 
risas se detuvieran, y que salieran las estacas de madera. Quizá 
actualmente estemos en ese período con la IA, y sólo un accidente o una 
experiencia cercana a la muerte nos sacudirá para despertarnos. 

Otra razón por la cual la IA y la extinción humana no reciben 
frecuentemente consideración seria puede deberse a uno de nuestros 
puntos ciegos psicológicos: un prejuicio cognitivo. Los prejuicios 
cognitivos son alcantarillas sin tapa en las avenidas de nuestro pensar. 
Los psicólogos israelíes-estadounidenses Amos Tversky y Daniel 
Kahneman empezaron a desarrollar la ciencia de los prejuicios cognitivos 
en 1972. Su idea básica es que los humanos tomamos decisiones de 
maneras irracionales. Esta observación por sí sola no le permitirá ganarse 
un Premio Nobel (Kahneman recibió uno en 2002); la sorpresa es que 
somos irracionales en patrones científicamente verificables. Para tomar 
las decisiones rápidas que fueron útiles durante nuestra evolución, 
repetidamente tomamos los mismos atajos mentales, conocidos como la 
heurística. Uno es sacar deducciones amplias —resulta ser que demasiado 
amplias— con base en nuestras propias experiencias. 

Digamos, por ejemplo, que usted está visitando a un amigo y su 
casa se incendia. Usted se escapa y al día siguiente participa en una 
encuesta para clasificar las causas de la muerte accidental. ¿Quién podría 
culparlo si usted clasificara “fuego” como la primera o la segunda causa 
más común? De hecho, en los Estados Unidos, el fuego ocupa un lugar 
bastante bajo en la lista, después de caídas, accidentes de tránsito y 
envenenamientos. Pero al elegir fuego, usted ha demostrado lo que se 
llama sesgo de “disponibilidad”: su experiencia reciente tiene un impacto 
sobre su decisión, y la vuelve irracional. Pero no se sienta mal, le pasa a 
todo el mundo y hay una docena más de prejuicios además del de la 
disponibilidad. 

Tal vez el sesgo de la disponibilidad sea lo que evita que asociemos 


la inteligencia artificial con el aniquilamiento humano. No hemos 
experimentado accidentes bien publicitados provocados por la IA, 
mientras que nos hemos enfrentado a los otros sospechosos habituales. 
Sabemos acerca de los supervirus como el VIH, el síndrome respiratorio 
agudo severo y la gripe española de 1918. Hemos visto los efectos de las 
armas nucleares en ciudades llenas de humanos. Nos ha asustado la 
evidencia geológica de antiguos asteroides del tamaño de Texas. Y los 
desastres en Three Mile Island (1979), Chernobyl (1986) y Fukushima 
(2011) nos muestran que debemos aprender las lecciones más dolorosas 
una y otra vez. 

La inteligencia artificial todavía no está en nuestro radar de las 
amenazas existenciales. De nuevo, un accidente cambiaría eso, igual que 
sucedió cuando el 11 de septiembre le presentó al mundo el concepto de 
que los aviones podían ser utilizados como armas. Este ataque 
revolucionó la seguridad en las aerolíneas y dio lugar a una nueva 
burocracia de cuarenta y cuatro miles de millones de dólares al año: el 
Departamento de Seguridad Nacional. ¿Necesitamos tener un desastre 
con la IA para aprender una lección similarmente espantosa? Esperemos 
que no, porque hay un gran problema con los desastres de la IA: no son 
como los desastres con aviones, los desastres nucleares o ningún otro tipo 
de desastres tecnológicos con la posible excepción de la nanotecnología. 
Esto es porque hay una alta probabilidad de que no nos recuperemos del 
primero. 

Y hay otra forma crítica en la que la IA desbocada difiere de otros 
accidentes tecnológicos. Las plantas nucleares y los aeroplanos son 
asuntos de una única ocasión; cuando se acaba el desastre se puede 
limpiar. Un verdadero desastre de IA involucra software inteligente que 
se mejora a sí mismo y se reproduce a altas velocidades. Es 
autoperpetuado. ¿Cómo podemos detener un desastre si rebasa nuestra 
defensa más fuerte, nuestros cerebros? ¿Y cómo limpiaríamos un desastre 
que, una vez que empiece, podría no detenerse jamás? 

Otra razón para la curiosa ausencia de la IA en las discusiones sobre 
amenazas existenciales es que la Singularidad domina el diálogo sobre 
IA. 

La “Singularidad” se ha convertido en una palabra muy popular que 
se usa a la ligera, a pesar de que tiene varias definiciones que con 
frecuencia se usan de manera intercambiable. El destacado inventor, 
autor y promotor de la Singularidad, Ray Kurzweil la define como un 
período “singular” dentro del tiempo (que iniciará alrededor del año 
2045) tras el cual el ritmo del cambio tecnológico transformará 


irreversiblemente la vida humana. La mayoría de la inteligencia estará 
basada en computadoras, y será billones de veces más poderosa que hoy 
en día. La Singularidad hará que arranque repentinamente una nueva era 
en la historia de la humanidad en la cual la mayoría de nuestros 
problemas, como hambre, enfermedad e incluso mortalidad, se 
resolverán. 

La inteligencia artificial es la estrella del espectáculo mediático de 
la Singularidad, pero la nanotecnología juega un papel de apoyo 
importante. Muchos expertos predicen que la superinteligencia artificial 
impulsará a la nanotecnología al encontrar soluciones a problemas 
aparentemente imposibles de manejar gracias a su desarrollo. Algunos 
piensan que sería mejor si la IA llegara primero, porque la 
nanotecnología es una herramienta demasiado volátil como para 
confiársela a nuestros cerebros enclenques. De hecho, muchos de los 
beneficios que se le atribuyen a la Singularidad se deben a la 
nanotecnología, no a la inteligencia artificial. La ingeniería a una escala 
atómica puede proporcionar, entre otras cosas la inmortalidad, al 
eliminar los efectos del envejecimiento a nivel celular; la realidad virtual 
de inmersión, porque provendrá de nanorobots que se apropiarán de las 
entradas sensoriales del cuerpo; y el escaneo neural y la carga de las 
mentes a las computadoras. 

Sin embargo, dicen los escépticos, los robots fuera de control 
podrían reproducirse a sí mismos en forma infinita, y así convertir al 
planeta en una masa de “sustancia viscosa gris.” El problema de la 
“sustancia viscosa gris” es el más conocido rostro de Frankenstein que 
tiene la nanotecnología. Pero casi nadie describe un problema análogo 
con la IA, como la “explosión de la inteligencia” en la cual el desarrollo 
de máquinas más listas que los humanos pone en marcha la extinción de 
la raza humana. Esa es una de las muchas desventajas del espectáculo de 
la Singularidad, uno de muchos sobre los cuales no escuchamos lo 
suficiente. Esa ausencia puede deberse a lo que llamo el problema de los 
dos minutos. 

He escuchado a docenas de científicos, inventores y especialistas en 
ética dar conferencias sobre la superinteligencia. La mayoría la considera 
inevitable y festeja la abundancia de beneficios que el genio de la SIA nos 
brindará. Luego, con frecuencia en los últimos dos minutos de sus 
pláticas, los expertos hacen notar que si la IA no se maneja 
apropiadamente, podría acabar con la humanidad. Luego sus públicos 
sueltan una risita nerviosa, ansiosos de volver a escuchar las buenas 
noticias. 


Los autores abordan la revolución tecnológica constante en una de 
dos maneras. En primera, hay libros como La Singularidad está cerca, de 
Kurzweil. Su meta es establecer el marco teórico para un futuro 
extremadamente favorable. Si algo malo fuera a ocurrir entonces, usted 
jamás lo escucharía, pues el alegre estruendo del optimismo no permitiría 
oírlo. Programado para pensar, de Jeff Stibel, representa la segunda 
variante. Mira el futuro tecnológico a través de la lente de los negocios. 
Stibel alega persuasivamente que Internet es un cerebro cada vez mejor 
conectado, y que los nuevos negocios en red deben tomar esto en cuenta. 
Los libros como el de Stibel pretenden enseñarle a los empresarios a 
meter una red entre las tendencias de Internet y los consumidores, y 
captar con ellas cubetas llenas de dinero en efectivo. 

A la mayoría de los teóricos y autores de tecnología les está faltando 
la tercera perspectiva, que es menos optimista, y este libro tiene como 
meta compensarlo. El argumento es que el fin último para crear 
máquinas inteligentes primero, y luego máquinas más inteligentes que los 
humanos, no es su integración a nuestras vidas, sino nuestra conquista. 
En su búsqueda por alcanzar la IAG, los investigadores crearán un tipo de 
inteligencia que sea más fuerte que la suya propia y que no puedan 
controlar o entender de forma adecuada. 

Hemos aprendido lo que ocurre cuando seres tecnológicamente 
avanzados se topan con otros menos avanzados: Cristóbal Colón contra 
los taínos, Pizarro contra los incas, los europeos contra los nativos 
americanos. 

Prepárese para la siguiente vez. La inteligencia artificial contra 
usted y contra mí. 


ES 


Quizá los pensadores de la tecnología hayan considerado la desventaja de 
la IA pero creen que es demasiado improbable como para preocuparse 
por eso. O lo entienden, pero piensan que no pueden hacer nada por 
cambiarlo. El destacado desarrollador de IA Ben Goertzel, cuyo mapa 
para alcanzar la IAG será explorado en el capítulo 11, me dijo que no 
sabremos cómo protegernos de la Al avanzada hasta que hayamos tenido 
mucha más experiencia con ella. Kurzweil, cuyas teorías investigaremos 
el capítulo 9, desde hace mucho ha defendido un punto similar: nuestro 
invento y la integración con la superinteligencia serán lo suficientemente 
graduales como para que aprendamos sobre la marcha. Ambos alegan 
que los verdaderos peligros de la IA no se pueden ver desde aquí. En otras 


palabras, si usted está viviendo en la era de la carreta y el caballo, es 
imposible predecir cómo maniobrar un automóvil sobre caminos 
cubiertos de hielo. Así que relájese, ya veremos cómo hacerle cuando 
lleguemos hasta allá. 

Mi problema con el punto de vista gradualista es que mientras que 
las máquinas superinteligentes decididamente pueden eliminar a la 
humanidad, o volvernos irrelevantes, creo que también hay mucho que 
temerles a las IAs que nos encontremos en el camino hacia el desarrollo 
de la superinteligencia. Es decir, aunque una osa grizzly mamá pueda 
provocar una gran interrupción a un día de campo, usted no debe hacer 
caso omiso de la capacidad de un oso joven de también causar 
problemas. Más allá de esto, los gradualistas creen que, desde la 
plataforma de la inteligencia de nivel humano, el salto hacia la 
superinteligencia todavía puede tomar años o décadas. Esto nos daría un 
periodo de gracia de coexistencia con las máquinas inteligentes, durante 
el cual podríamos aprender mucho acerca de cómo interactuar con ellas. 
Luego sus descendientes avanzados no nos atraparían sin estar 
prevenidos. 

Pero no necesariamente será así. El salto de la inteligencia de nivel 
humano hacia la superinteligencia, a través de un circuito de automejora 
con retroalimentación positiva, podría pasar por lo que se llama un 
“despegue duro.” En este escenario, una IAG mejora su inteligencia tan 
rápidamente que se vuelve superinteligente en semanas, días o incluso 
horas, en vez de meses o años. El capítulo 1 describe la probable 
velocidad y el probable impacto de un despegue duro. Puede que no 
tenga nada de gradual. 

Puede ser que Goertzel y Kurzweil tengan razón —miraremos más 
de cerca el argumento gradualista después. Pero lo que quiero transmitir 
ahora mismo son algunas ideas alarmantes derivadas del escenario del 
Niño Ocupado. 

Los científicos en computación, especialmente aquellos que trabajan 
para agencias de defensa e inteligencia, se sentirán obligados a acelerar 
el desarrollo de la IAG porque las alternativas (como la posibilidad de 
que el gobierno chino la desarrolle primero) son más temibles que 
desarrollar rápidamente su propia IAG. Los científicos en computación 
también pueden sentirse obligados a acelerar el desarrollo de la IAG para 
controlar mejor otras tecnologías altamente volátiles que probablemente 
surjan en este siglo, como la nanotecnología. Podrían no detenerse a 
considerar la importancia de hacer revisiones al automejoramiento. Una 
inteligencia artificial que se mejore a sí misma podría rápidamente saltar 


de ser IAG a SIA, en una versión con despegue duro de una “explosión de 
la inteligencia.” 

Como no podemos saber lo que hará una inteligencia más lista que 
la nuestra, sólo podemos imaginarnos una fracción de las habilidades que 
podría utilizar en nuestra contra, como duplicarse a sí misma para traer 
más mentes superinteligentes que atacaran problemas, trabajar 
simultáneamente en muchos asuntos estratégicos relacionados con su 
escape y supervivencia, y actuar fuera de las reglas de la honradez o la 
justicia. Finalmente, sería prudente dar por hecho que la primera SIA no 
sería amigable ni no amigable, sino ambivalente con respecto a nuestra 
felicidad, salud y supervivencia. 

¿Podemos calcular el riesgo potencial de la SIA? En su libro Riesgo 
tecnológico, H.W. Lewis identifica categorías de riesgo y las clasifica de 
acuerdo a lo sencillo que sería que se volvieran factores. Las más 
sencillas son las acciones de alta probabilidad y fuertes consecuencias, 
como manejar un auto de una ciudad a otra. Hay muchos datos para 
consultar. Sucesos de baja probabilidad y fuertes consecuencias, como los 
terremotos son más raros, y por lo tanto más difíciles de vaticinar. Pero 
sus consecuencias son tan severas que vale la pena calcular su 
probabilidad. 

Luego están los riesgos cuya probabilidad es baja porque nunca han 
ocurrido antes, sin embargo sus consecuencias, nuevamente, son severas. 
El drástico cambio climático a consecuencia de la contaminación creada 
por el hombre es un buen ejemplo. Antes de la prueba del 16 de julio de 
1945 realizada en White Sands, Nuevo México, la detonación de una 
bomba atómica fue otro más. Técnicamente, es en esta categoría que 
reside la superinteligencia. La experiencia no proporciona mucha 
orientación. Usted no puede calcular su probabilidad al utilizar métodos 
estadísticos tradicionales. 

Sin embargo, creo que, dado el ritmo actual de desarrollo de la IA, 
el invento de la superinteligencia pertenece a la primera categoría—un 
suceso de alta probabilidad y alto riesgo. Más allá de esto, incluso si 
fuera un suceso de baja probabilidad, por su factor de riesgo debería 
ascenderse al nivel principal al cual deberíamos prestar atención. 

En otras palabras, creo que el Niño Ocupado vendrá muy pronto. 

El temor de que nos rebase una inteligencia más grande que la 
humana es algo antiguo, pero en la primera parte de este siglo surgió en 
Silicon Valley un experimento sofisticado al respecto, e inmediatamente 
se volvió el tema central de leyendas en Internet. 

El rumor iba así: un genio solitario organizó una serie de apuestas 


de alto riesgo en un escenario que él llamaba el Experimento de la Caja 
de IA. En este experimento, el genio hacía el papel de la IA. Varios 
propietarios millonarios de dot-coms tomaron turnos para interpretar al 
Guardián: un creador de IA que confronta el dilema de cuidar y retener a 
la IA más inteligente que la de los humanos. La IA y el Guardián se 
comunicaban a través de un espacio en línea para chatear. Con sólo 
utilizar un teclado, decían, el hombre que simulaba ser la IA se escapaba 
todas las veces, y ganaba todas las apuestas. Lo más importante: pudo 
comprobar su teoría. Si él, un simple humano, podía ingeniárselas para 
escaparse de la caja simplemente con conversar, una SIA cientos o miles 
de veces más inteligente lo podría hacer también, y mucho más rápido. 
Esto conduciría a la probable aniquilación de la humanidad. 

El rumor decía que el genio se había ocultado. Había atraído tanta 
atención por el experimento de la caja de IA, y por ser autor de reportes 
y ensayos sobre el tema, que se hizo de un grupo de admiradores. Pasar 
tiempo con ellos le resultaba menos satisfactorio que la razón por la cual 
había empezado el experimento de la caja de IA en un inicio: salvar a la 
humanidad. 

Por lo tanto, se había decidido volver difícil de encontrar. Pero por 
supuesto que yo deseaba hablar con él. 


CAPÍTULO TRES 


MIRAR HACIA EL FUTURO 


La IA es intrínsecamente muy, muy peligrosa. Este problema no es 
terriblemente difícil de entender. Usted no necesita ser súper 
inteligente o estar súper bien informado, y ni siquiera ser súper 
honrado en el plano intelectual para entender este problema. 


Michael Vassar, presidente, Instituto de Investigación sobre 
Inteligencia de las Máquinas 


“Definitivamente creo que las personas deberían tratar de desarrollar la 
Inteligencia Artificial General con todo el cuidado necesario. En este 
caso, todo el cuidado necesario implica precauciones mucho más 
escrupulosas que las que se requerirían para enfrentar el ébola o manejar 
el plutonio.” 

Michael Vassar es un hombre esbelto y compacto de unos 30 años. 
Tiene títulos en bioquímica y negocios, y habla con maestría sobre 
cálculos relacionados con la aniquilación humana, de manera que 
palabras como “ébola” y “plutonio” surgen de su boca sin titubear y sin 
ironía. Una pared de su condominio en un rascacielos es un ventanal de 
piso a techo, y enmarca un puente de suspensión rojo que une a San 
Francisco con Oakland, California. No es el elegante Golden Gate —ése 
está del otro lado de la ciudad. A éste lo han llamado su hermanastra fea. 
Vassar me dijo que la gente decidida a suicidarse maneja sobre este 
puente para llegar hasta donde está el bonito. 

Vassar ha dedicado su vida a impedir el suicidio a una escala más 
grande. Es el presidente del Instituto de Investigación sobre Inteligencia 
de las Máquinas, un centro de estudios afincado en San Francisco que se 
estableció para luchar contra la extinción de la raza humana por culpa de 
las manos, o los bytes, de la inteligencia artificial. En su página web, el 
MIRI (por sus siglas en inglés) publica ensayos bien analizados sobre los 
aspectos peligrosos de la IA, y una vez al año organiza la influyente 
Cumbre de la Singularidad. En la conferencia de dos días de duración, 
programadores, neurocientíficos, académicos, empresarios, especialistas 
en ética e inventores discuten avances y obstáculos en la revolución de la 
IA que está en curso. El MIRI da la bienvenida a pláticas tanto de 
creyentes como de no creyentes, de personas que no piensan que jamás 
se dé la Singularidad y de personas que piensan que el MIRI es un culto 
tecnológico apocalíptico. 

Vassar sonrió ante la idea de un culto. “La gente que viene a 
trabajar para el MIRI es lo más opuesto a alguien que se une a grupos. 
Por lo general se dan cuenta de los peligros de la IA desde antes de 
siquiera saber que existe el MIRI.” 

Yo no sabía que el MIRI existía sino hasta después de escuchar 
acerca del experimento de la caja de IA. Un amigo me había platicado 


sobre él, pero al contarlo tuvo muchos errores respecto al genio solitario 
y sus contrincantes millonarios. Pude rastrear la historia hasta una 
página web del MIRI, y descubrí que el creador del experimento, Eliezer 
Yudkowsky, había sido cofundador del MIRI (en ese entonces conocido 
como el Instituto de Singularidad para la Inteligencia Artificial) junto con 
los empresarios Brian y Sabine Atkins. A pesar de su afamada reticencia, 
Yudkowsky y yo intercambiamos correos electrónicos y me contó la 
verdadera historia acerca del experimento. 

Las apuestas realizadas entre la IA interpretada por Yudkowsky y el 
Guardián que estaba asignado para retenerlo cuando mucho eran de 
miles de dólares, no millones. El juego sólo se había realizado cinco 
veces, y la IA que estaba dentro de la caja ganó tres de esas veces. Es 
decir, la IA generalmente se salía de la caja, pero no era un exitazo. 

Algunas partes del rumor de la caja de la IA habían sido ciertos; 
Yudkowsky sí era huraño, mezquino con su tiempo y reservado con 
respecto a donde vivía. Yo me había autoinvitado al hogar de Michael 
Vassar porque me había agradado y sorprendido que se hubiera fundado 
una organización sin fines de lucro para combatir los peligros de la IA, y 
que gente joven e inteligente dedicara su vida a este problema. Y 
esperaba que mi conversación con Vassar facilitara que yo diera mis 
pasos finales hasta llegar a la puerta principal de Yudkowsky. 

Antes de entrar de lleno al apoyo ante los peligros de la IA, Vassar 
había obtenido una maestría en administración de empresas y había 
conseguido dinero al ser cofundador de Sir Groovy, una empresa en línea 
de autorización de uso de música. Sir Groovy reúne a disqueras 
independientes con productores de tele y cine para proporcionar bandas 
sonoras frescas creadas por artistas menos conocidos y, por lo tanto, más 
económicos. Vassar había estado jugueteando con la idea de dedicarse a 
enfrentar los peligros de la nanotecnología hasta 2003. Ese año conoció a 
Eliezer Yudkowsky, tras haber leído su trabajo en línea durante años. 
Aprendió acerca del MIRI y de una amenaza más inminente y peligrosa 
que la nanotecnología: la inteligencia artificial. 

“Me preocupó en extremo el riesgo catastrófico global de la TAG 
después de que Eliezer me convenció de que era plausible que la IAG se 
desarrollara en un plazo corto y con un presupuesto relativamente 
pequeño. Yo no tenía ninguna razón convincente para pensar que la IAG 
pudiera no darse, digamos, dentro de los siguientes 20 años.” Eso era más 
pronto que las predicciones relacionadas con la nanotecnología. Y el 
desarrollo de la IAG requeriría muchos menos gastos generales. Así que 
Vassar cambió de ruta. 


Cuando nos reunimos, confesé que no había pensado mucho acerca 
de la idea de que los grupos pequeños con presupuestos pequeños 
pudieran crear IAG. De acuerdo a las encuestas que había visto, sólo una 
minoría de los expertos predecía que personas de un equipo de este tipo 
pudieran ser los padres probables. 

Entonces, ¿Al Qaeda podría crear IAG? ¿Las Fuerzas Armadas 
Revolucionarias de Colombia podrían? ¿O Aum Shinrikyo? 

Vassar no piensa que un grupo terrorista vaya a inventar la TAG. 
Hay una brecha en cuanto al coeficiente intelectual. 

“Los tipos malos que de verdad desean destruir el mundo son, de 
manera habitual, no muy capaces. Sabes que el tipo de gente que sí 
quiere destruir el mundo carece de las habilidades de planeación a largo 
plazo para ejecutar cualquier cosa.” 

Pero ¿qué hay de Al Qaeda? ¿Acaso no requirieron altos niveles de 
imaginación y planeación todos los ataques previos al del 11 de 
septiembre, y ese mismo? 

“Éstos no se comparan con crear IAG. Escribir código para una 
aplicación que haga una sola cosa mejor que un humano, y ya ni 
mencionemos la amplia variedad de capacidades de la IAG, necesitaría 
dramáticamente mayor talento y organización que los que ha exhibido el 
catálogo completo de violencia de Al Qaeda. Si la IAG fuera tan fácil, 
alguien más inteligente que los de Al Qaeda ya la hubiera hecho.” 

Pero ¿qué hay de gobiernos como los de Corea del Norte e Irán? 

“Como asunto práctico, la calidad de la ciencia que los malos 
regímenes producen es una mierda. Los nazis son la única excepción y, 
bueno, si vuelven a surgir los nazis tendremos problemas muy grandes 
con o sin la IA.” 

Estuve en desacuerdo, aunque no con respecto a los nazis. Irán y 
Corea del Norte han encontrado métodos de alta tecnología para 
chantajear al resto del mundo con el desarrollo de armas nucleares y 
misiles intercontinentales. Así que yo no los tacharía de la lista breve de 
creadores potenciales de IAG con un historial de pitorrearse de la censura 
internacional. Además, si la IAG puede ser creada por grupos pequeños, 
cualquier estado rebelde podría brindarle patrocinio a alguno de ellos. 

Cuando Vassar hablaba de grupos pequeños, incluía a empresas que 
trabajaban sin ser detectadas por ningún radar. Yo había escuchado 
acerca de las llamadas empresas furtivas que están en manos de 
particulares, hacen contrataciones en secreto y nunca emiten 
comunicados de prensa ni revelan de otra manera lo que están haciendo. 
En cuanto a la IA, la única razón para que una empresa sea furtiva es que 


haya obtenido algún conocimiento poderoso y que no quiera 
recompensar a sus competidores con información respecto a su 
descubrimiento. Por definición, las compañías furtivas son difíciles de 
descubrir, aunque abundan los rumores. El fundador de PayPal, Peter 
Thiel, financia a tres empresas furtivas dedicadas a la IA. 

Sin embargo, las compañías en “modo furtivo”, son distintas y más 
comunes. Estas empresas buscan financiamiento y hasta publicidad, pero 
no revelan sus planes. Peter Voss, un innovador conocido por desarrollar 
tecnología de reconocimiento de voz, busca la IAG con su empresa, 
Adaptive Al, Inc. Públicamente ha indicado que la IAG puede ser 
alcanzada dentro de 10 años. Pero no dice cómo. 


Las empresas furtivas tienen otra complicación. Una empresa pequeña y 
motivada podría existir dentro de una compañía más grande con una 
fuerte presencia pública. ¿Qué tal Google? ¿Por qué la megacorporación 
repleta de dinero no habría de aceptar el reto de alcanzar el santo grial 
de la IA? 

Cuando se lo pregunté durante una conferencia sobre IAG, el 
director de investigación de Google, Peter Norving, coautor del libro de 
texto clásico sobre IA, Inteligencia artificial: Un enfoque moderno, me dijo 
que Google no estaba buscando IAG. Comparó la búsqueda con el plan de 
la NASA para alcanzar viajes interplanetarios tripulados. No tiene 
ninguno. Pero seguirá desarrollando ciencias que serían componentes 
para los viajes espaciales —cohetería, robótica, astronomía— y un día 
todas las piezas encajarán y la oportunidad de ir a Marte parecerá 
factible. 

De igual manera, los proyectos estrechos de IA hacen muchos 
trabajos inteligentes como búsquedas, reconocimiento de voz, 
procesamiento del lenguaje natural, percepción visual, obtención de 
datos y mucho más. Por separado son herramientas con buen 
financiamiento y poderosas que mejoran dramáticamente cada año. 
Juntas hacen que avancen las ciencias de computación que van a 
beneficiar a los sistemas de IAG. 

Sin embargo, me dijo Norving, no existe ningún programa de IAG 
para Google. Pero compare esa declaración con lo que su jefe, el 
cofundador de Google Larry Page, dijo durante una conferencia de 
Londres titulada Zeitgeist "06: 


La gente siempre da por hecho que hemos llegado hasta el tope en 
cuanto a buscadores. Eso está muy alejado de la realidad. 
Probablemente sólo hayamos avanzado un cinco por ciento en ese 
camino. Queremos crear el máximo buscador que pueda entender lo 
que sea... Algunas personas podrían llamarlo inteligencia 
artificial... El máximo buscador podría entender todo en el mundo. 
Podría entender todo lo que usted le preguntara y le devolvería al 
instante precisamente la cosa correcta... Usted podría preguntar 
“¿qué le debo preguntar a Larry?” y se lo diría. 


Eso a mí me suena como IAG. 

A través de varios proyectos bien financiados, IBM busca IAG, y la 
Agencia de Proyectos de Investigación Avanzada del Departamento de 
Defensa parece estar financiando cada proyecto de IAG que investigo. Así 
que, de nuevo, ¿por qué no Google? Cuando se lo pregunté a Jason 
Freidenfelds, de relaciones públicas de Google, me escribió: 


. es muy pronto para que especulemos respecto a asuntos que 
estén tan adelante en el camino. Generalmente nos enfocamos más 
en tecnologías prácticas de aprendizaje de máquinas, como visión 
de máquinas, reconocimiento de voz y traducción de máquinas, que 
esencialmente se basan en construir modelos estadísticos para 
empatar patrones—no es nada cercano a la visión de “máquina 
pensante” de la IAG. 


Pero creo que la cita de Page permite ver más claramente las actitudes de 
Google que la de Freidensfeld. Y ayuda a explicar la evolución de Google, 
que pasó de ser la compañía visionaria insurreccionista de los años 90, 
con el muy comentado lema NO SEAS MALVADO, hasta ser el gigante 
opaco y orwelliano de hoy que recopila datos personales. 

La política de privacidad de la empresa comparte su información 
personal con los servicios de Google, incluyendo Gmail, Google+, 
YouTube y otros. A quién conoce, a dónde va, qué compra, a quién le 
presentan, cómo busca, Google lo coteja todo. La meta que pretende 
alcanzar: mejorar su experiencia de usuario al hacer que la búsqueda sea 
prácticamente omnisciente con respecto al tema de usted. Su meta 
paralela: dar forma a los anuncios que usted vea, e incluso a su consumo 
de noticias, videos y música, y automáticamente dirigir campañas de 
mercadotecnia hacia usted. Incluso los autos con cámara de Google que 
toman fotografías de “vistas de calle” para Google Maps son parte del 


plan; durante tres años, Google usó su flotilla tomadora de fotos para 
obtener datos de redes privadas de Internet inalámbrico en los Estados 
Unidos y otras partes. Claves de acceso, historial de uso de Internet, 
correos electrónicos personales, nada estaba prohibido. 

Está claro que han puesto a los clientes leales en su lugar, y no es el 
mejor lugar. Así que parecía inconcebible que Google no tuviera IAG en 
mente. 

Alrededor de un mes después de mi último intercambio de 
correspondencia con Freidenfelds, el New York Times publicó una 
primicia sobre Google X. 

Google X era una empresa furtiva. El laboratorio secreto de Silicon 
Valley inicialmente estaba encabezado por el experto en IA y 
desarrollador del coche de Google que se conduce solo, Sebastian Thrun. 
Está enfocado en 100 proyectos “casi imposibles de alcanzar” como el 
Elevador Espacial, que esencialmente es un andamio que llegaría hasta el 
espacio y facilitaría la exploración de nuestro sistema solar. También está 
con el equipo de las instalaciones furtivas Andrew Ng, anterior director 
del Laboratorio de Inteligencia Artificial de la Universidad de Stanford y 
experto de clase mundial en cuanto a robótica. 

Finalmente, a fines de 2012, Google contrató al respetado inventor 
y autor Ray Kurzweil para que fuera su director de ingeniería. Y tal y 
como lo discutiremos en el capítulo 9, Kurzweil tiene un largo historial 
de logros en cuanto a la IA, y ha fomentado la idea de que la 
investigación sobre el cerebro es la ruta más directa para alcanzar la IAG. 

No se requieren anteojos Google para ver que si Google tiene como 
empleados al menos a dos de los científicos más destacados del mundo en 
cuanto a la IA, además de a Ray Kurzweil, la IAG probablemente tenga 
alta importancia entre sus proyectos “casi imposibles de alcanzar.” 

Al buscar una ventaja competitiva en el mercado, Google X y otras 
empresas furtivas podrían dar con la IGA lejos de la vista del público. 


Las empresas furtivas pueden representar un camino sorpresivo para 
llegar a la TAG. Pero de acuerdo con Vassar, la ruta más veloz hacia la 
IAG será altamente pública y costará considerable dinero. Esa ruta 
requiere ingeniería inversa del cerebro humano, al usar una combinación 
de habilidad para la programación y tecnología de fuerza bruta. “Fuerza 
bruta” es el término para sobreponerse a un problema con la simple 
potencia del hardware —repisas de procesadores veloces, petabytes de 


memoria— además de programación ingeniosa. 

“La versión extrema de la fuerza bruta proviene de la biología,” me 
dijo Vassar. “Si la gente sigue usando máquinas para analizar sistemas 
biológicos, entender metabolismos y entender estas relaciones complejas 
dentro de la biología, finalmente acumulará mucha información con 
respecto a cómo procesan información las neuronas. Y una vez que tenga 
suficiente información acerca de cómo procesan información las 
neuronas, esa información puede analizarse para propósitos de la IAG.” 

Funciona de esta manera: pensar requiere de procesos bioquímicos 
desempeñados por partes del cerebro llamadas neuronas, sinapsis y 
dendritas. Al usar una variedad de técnicas, incluyendo escaneo cerebral 
realizado por tomografía por emisión de positrones y resonancia 
magnética funcional, y aplicar sondas neuronales dentro y fuera del 
cráneo, los investigadores determinan qué están haciendo las neuronas 
individuales y los grupos de neuronas en un sentido computacional. 
Luego expresan cada uno de estos procesos con un programa de 
computadora o un algoritmo. 

Este es el objetivo del nuevo campo de la neurociencia 
computacional. Uno de los líderes en el campo, el doctor Richard 
Granger, director del Laboratorio de Ingeniería Cerebral de la 
Universidad de Dartmouth, ha creado algoritmos que imitan los circuitos 
del cerebro humano. Incluso ha patentado un procesador de 
computadora inmensamente poderoso que se basa en cómo funcionan 
estos circuitos cerebrales. Cuando llegue al mercado veremos un enorme 
salto hacia adelante en la manera en que los sistemas computacionales 
identifican visualmente los objetos, porque lo harán en la forma que lo 
hace nuestro cerebro. 

Todavía hay muchos circuitos cerebrales sin investigar y diagramar. 
Pero una vez que usted haya creado algoritmos para todos los procesos 
del cerebro, felicidades, habrá conseguido un cerebro. ¿O acaso no? 
Quizá no. Quizá lo que tenga sea una máquina que emule un cerebro. 
Esta es una gran pregunta dentro de la IA. Por ejemplo, ¿un programa 
que juega ajedrez piensa? 

Cuando IBM se dispuso a crear a Deep Blue, y derrotar a los mejores 
jugadores de ajedrez del mundo, no lo programó para que jugara ajedrez 
como el campeón mundial Gary Kasparov, lo hizo para que jugara mejor. 
No sabía cómo hacer eso. Kasparov desarrolló su virtuosismo al jugar un 
número vasto de juegos y estudiar juegos adicionales. Desarrolló un 
enorme archivo de aperturas, ataques, fintas, bloqueos, señuelos, 
gambitos, finales del juego, estrategias y tácticas. Reconoce patrones en 


el tablero, recuerda y piensa. Kasparov normalmente piensa de tres a 
cinco jugadas por adelantado, pero puede llegar a pensar hasta en 
catorce. Ninguna computadora actual puede hacer todo eso. 

Entonces, IBM programó una computadora para evaluar 200 
millones de posiciones por segundo. 

Primero, Deep Blue haría una jugada hipotética y evaluaría todas 
las posibles respuestas de Kasparov. Haría su respuesta hipotética a cada 
una de estas respuestas, y de nuevo evaluaría todas las respuestas de 
Kasparov. Este modelo con dos niveles de profundidad se llama una 
búsqueda de dos capas; Deep Blue a veces buscaba hasta en seis capas de 
profundidad. Eso significa que cada parte “hacía una jugada” seis veces 
por cada jugada hipotética. 

Deep Blue se regresaba al tablero todavía intacto y empezaba a 
evaluar otra jugada. Repetía este proceso para muchas jugadas posibles, 
y todo el tiempo estaba calificando cada jugada de acuerdo a si lograba 
capturar una pieza, el valor de la pieza, de si mejoraba en general sus 
posiciones en el tablero y en qué medida lo haría. Por último, realizaba 
la jugada con la puntuación más alta. 

¿Deep Blue estaba pensando? 

Tal vez. Pero pocos alegarían que estaba pensando en la manera en 
la que piensa un humano. Y pocos expertos dudan que será de la misma 
manera con la IAG. Cada investigador que está tratando de alcanzar la 
IAG tiene su propio enfoque. Algunos son puramente biológicos, y 
trabajan para imitar fielmente el cerebro. Otros se inspiran en la biología, 
y toman el cerebro como punto de partida, pero dependen más del 
conjunto de herramientas de la IA que trabajan duro con probadores de 
teoremas, algoritmos de búsqueda, algoritmos de aprendizaje, 
razonamiento automatizado y más. 

Nos adentraremos en algunos de éstos y exploraremos cómo es que 
el cerebro humano usa muchas de las mismas técnicas de computación 
que las computadoras. Pero el punto es que no queda claro si las 
computadoras pensarán como nosotros hemos definido que lo hagan o si 
llegarán a poseer algo como la intención o la conciencia. Por lo tanto, 
Opinan algunos académicos, es imposible la inteligencia artificial que sea 
equivalente a la inteligencia humana. 

El filósofo John Searle creó un experimento de pensamiento 
llamado el “argumento de la habitación china” que pretende comprobar 
este punto: 


Imagine que una persona cuya lengua materna sea el inglés y que 


no sepa chino esté encerrada en una habitación llena de cajas con 
símbolos chinos (una base de datos) junto con un libro de 
instrucciones para manipular los símbolos (el programa). Imagine 
que la gente que está afuera de la habitación manda a la caja otros 
símbolos chinos, los cuales, sin que la persona de la habitación lo 
sepa, son preguntas en chino (la entrada de información). E imagine 
que, al seguir las instrucciones del programa, el hombre que está en 
el cuarto pueda pasar los símbolos chinos que sean las respuestas 
correctas a las preguntas (la información producida). 


El hombre que está dentro del cuarto responde correctamente, de 
modo que la gente de afuera cree que se puede comunicar en chino. Sin 
embargo el hombre no entiende ni una palabra. Al igual que el hombre, 
concluye Searle, una computadora realmente nunca pensará ni 
entenderá. A lo sumo, lo que los investigadores obtendrán con sus 
esfuerzos de ingeniería inversa del cerebro será un imitador refinado. Y 
los sistemas de IAG obtendrán resultados igualmente mecánicos. 

Searle no está solo al creer que las computadoras nunca pensarán ni 
obtendrán conciencia. Pero tiene muchos críticos, con muchas quejas 
diferentes. Algunos detractores aseguran que le tiene fobia a las 
computadoras. Si se toma como un todo, cada cosa en el cuarto chino, 
incluyendo al hombre, se une para crear un sistema que de manera 
persuasiva “entiende” chino. Visto de esta manera, el argumento de 
Searle es circular: ninguna parte de la habitación (computadora) entiende 
chino, consiguientemente, la computadora no puede entender chino. 

Y usted puede aplicar la objeción de Searle igual de fácilmente a los 
humanos: no tenemos una descripción formal de lo que realmente es 
entender el lenguaje, así que ¿cómo aseveramos que “entendemos” el 
lenguaje? Sólo tenemos la observación para confirmar que el lenguaje es 
entendido. Justo igual que la gente afuera de la habitación de Searle. 

¿Qué es tan sorprendente de los procesos cerebrales, incluso la 
conciencia, a fin de cuentas? Sólo porque no entendamos la conciencia 
ahora no significa que nunca lo vayamos a hacer. No es magia. 

Sin embargo, estoy de acuerdo con Searle y con sus críticos. Searle 
tiene razón en pensar que la IAG no será como nosotros. Estará repleta de 
técnicas computacionales cuya operación nadie entienda completamente. 
Y los sistemas computacionales diseñados para crear la IAG, llamados 
“arquitecturas cognitivas,” de todas maneras pueden ser demasiado 
complejos como para qué alguna persona los entienda. Pero los críticos 
de Searle están en lo correcto al pensar que algún día una IAG o una SIA 


podría pensar como nosotros, si es que llegamos tan lejos. 

No creo que lo hagamos. Pienso que nuestro Waterloo reside en el 
futuro predecible, en la IA del mañana y en la TAG naciente por lanzarse 
dentro de la próxima década o dos. Nuestra supervivencia, si es que es 
posible puede depender entre otras cosas, de desarrollar IAG algo similar 
a la conciencia y al entendimiento humano, e incluso con capacidad de 
ser amigable. Esto requeriría, cuando menos, entender a las máquinas 
inteligentes en una manera sutil, de modo que no habría sorpresas. 

Regresemos por un momento a una definición común de la 
Singularidad, llamada la “Singularidad tecnológica.” Se refiere al futuro 
en el que los humanos compartamos el planeta con inteligencia más lista 
que la nuestra. Ray Kurzweil tiene la teoría de que nos fusionaremos con 
las máquinas para asegurar nuestra supervivencia. Otros consideran que 
las máquinas darán realce a nuestras vidas, pero que continuaremos 
viviendo como humanos comunes y corrientes, no como cyborgs 
humanos-máquinas. Otros más, como yo, pensamos que el futuro le 
pertenece a las máquinas. 

El Instituto de Investigación sobre Inteligencia de las Máquinas se 
formó para asegurarse de que, sin importar la forma que tomen nuestros 
herederos, nuestros valores sean preservados. 

En su departamento ubicado en una torre alta en San Francisco, 
Vassar me dijo: “Lo que está en juego es la entrega del valor humano a 
los sucesores de la humanidad. Y, a través de ellos, al universo.” 

Para MIRI, la primera IAG que salga de la caja debe ser segura, y 
por lo tanto debe llevar valor humano a los sucesores de la humanidad 
en cualquier forma en que se aparezcan. Si la IAG no es segura, ni los 
humanos ni lo que valoramos sobreviviremos. Y no sólo es el futuro de la 
tierra lo que está en juego. Como me dijo Vassar: “La misión de MIRI es 
causar que la singularidad tecnológica ocurra en la mejor manera 
posible, para obtener el mejor futuro posible para el universo.” 

¿Cómo luciría un buen resultado para el universo? 

Vassar se asomó por la ventana y vio el tráfico de la hora pico que 
estaba empezando a amontonarse sobre el puente de hierro que iba hacia 
Oakland. En algún lugar más allá del agua estaba el futuro. En su mente, 
la superinteligencia ya se nos ha escapado. Ha colonizado nuestro 
sistema solar, luego nuestra galaxia. Ahora estaba reformateando el 
universo con proyectos de construcción a mega escala y convirtiéndose 
en algo tan raro que nos es difícil de comprender. 

En ese futuro, me dijo, el universo entero se convierte en una 
computadora o mente, tan alejada de nuestro entendimiento como lo son 


las naves espaciales para los gusanos planos. Kurzweil escribe que esto es 
el destino del universo. Otros están de acuerdo, pero creen que con el 
desarrollo temerario de la IA avanzada garantizaremos nuestra propia 
eliminación al igual que la de otros seres que podría haber por ahí. Así 
como la SIA puede no odiarnos ni amarnos, tampoco odiará ni amará a 
otras criaturas en el universo. ¿Nuestra búsqueda de la IAG será el inicio 
de una plaga por toda la galaxia? 

Al dejar el departamento de Vassar me pregunté qué podría 
prevenir que esta visión distópica se volviera realidad. ¿Qué podría 
detener el estilo de IAG que aniquilara? Más allá de esto, ¿había fallas en 
la hipótesis distópica? 

Bueno, los creadores de la IA y la IAG podrían hacerla “amigable,” 
de modo que lo que evolucionara a partir de la primera IAG no nos 
destruyera junto con otras criaturas en el universo. O podríamos estar 
equivocados con respecto a las habilidades y los “impulsos” de la IAG, y 
temer su conquista del universo podría ser un dilema falso. 

Quizá la IA jamás pueda avanzar hasta convertirse en IAG o algo 
más allá, o quizá existan buenas razones para pensar que sucederá en una 
forma distinta y más manejable de la que actualmente creemos posible. 
En pocas palabras, yo quería saber qué nos podría colocar en una ruta 
más segura rumbo al futuro. 

Pretendía preguntárselo al creador del experimento de la caja de IA, 
Eliezer Yudkowsky. Además de originar ese experimento de pensamiento, 
me habían dicho que él sabía más acerca de la IA Amigable que ninguna 
otra persona en el mundo. 


CAPÍTULO CUATRO 


LA MANERA DIFÍCIL 


Con la posible excepción de la nanotecnología liberada sobre el 
mundo, no hay nada en todo el catálogo de desastres que sea 
comparable con la IAG. 


Eliezer Yudkowsky, investigador, Instituto de Investigación sobre 
Inteligencia de las Máquinas 


Catorce ciudades “oficiales” integran Silicon Valley, y veinticinco 
universidades que se enfocan en matemáticas e ingeniería, e instalaciones 
que sirven como extensiones de éstas, se ubican en ellas. Nos alimentan 
con el software, el semiconductor y las firmas de Internet que son la 
última fase de un gigante de la tecnología que inició con radio en la 
primera parte del siglo XX. Silicon Valley atrae a la tercera parte de todo 
el capital de riesgo en los Estados Unidos. Tiene un número más alto de 
trabajadores de la tecnología per cápita que cualquier otra zona 
metropolitana en los Estados Unidos, y además son los mejor pagados. La 
mayor concentración de multimillonarios y millonarios del país tiene su 
hogar en Silicon Valley. 

Aquí, en el epicentro de la tecnología global, con un GPS en mi auto 
rentado y otro en mi iPhone, manejé al hogar de Eliezer Yudkowsky a la 
usanza antigua, con instrucciones escritas. Para proteger su privacidad, 
Yudkowsky me las había mandado por correo electrónico y me había 
pedido no compartirlas ni tampoco su dirección de correo electrónico. No 
ofreció su número telefónico. 

A sus 33 años, Yudkowsky, cofundador e investigador de MIRI, ha 
escrito más acerca de los peligros de la IA que ninguna otra persona. 
Cuando inició en esta carrera hace más de una década, era una de las 
muy contadas personas que habían convertido considerar los peligros de 
la IA en el trabajo de su vida. Y aunque no ha hecho promesas como tal, 
evita actividades que podrían distraerlo. No bebe, no fuma ni usa drogas. 
Rara vez socializa. Dejó de leer por entretenimiento hace varios años. No 
le gustan las entrevistas y prefiere hacerlas por Skype, con un límite de 
tiempo de treinta minutos. Es ateo (lo cual es la regla y no la excepción 
entre los expertos en IA), así que no gasta horas en algún templo o 
iglesia. No tiene niños, aunque le agradan, y piensa que quienes no han 
registrado a sus hijos para la criogenia son pésimos padres. 

Pero aquí está la paradoja. Para ser alguien que supuestamente 
atesora su privacidad, Yudkowsky ha exhibido su vida personal en 
Internet. Descubrí, tras mis primeros intentos por rastrearlo, que en el 
rincón de la red donde habitan las discusiones sobre la teoría de la 
racionalidad y la catástrofe, él y sus más profundas reflexiones son 
inevitables. 


Por su ubicuidad supe que a los 19 años, en su ciudad natal de 
Chicago, su hermano menor, Yehuda, se suicidó. El pesar de Yudkowsky 
se dejó ver en una queja en línea que todavía parece muy cruda a pesar 
de que haya pasado casi una década. Y aprendí que antes de dejar la 
escuela en el octavo grado, se enseñó a sí mismo matemáticas, lógica, 
historia de la ciencia y cualquier otra cosa que él se sintiera obligado a 
conocer “conforme se fuera requiriendo.” Las otras actividades que ha 
adquirido incluyen dar pláticas absorbentes y escribir prosa densa y con 
frecuencia chistosa: 


Soy un gran admirador de la música de Bach, y creo que es 
interpretada de la mejor manera cuando se hace al estilo tecno 
electrónico con ritmos pesados y punzantes, como Bach pretendía 
que se hiciera. 


Yudkowsky es un hombre apresurado, porque su trabajo tiene una 
fecha de caducidad: cuando alguien cree la TAG. Si los investigadores la 
construyen con los propios controles de seguridad inspirados en 
Yudkowsky, él bien podría haber salvado la humanidad y quizá a algo 
adicional. Pero si una explosión de la inteligencia entra en vigor y 
Yudkowsky no ha tenido éxito al implementar controles de seguridad, 
hay una buena posibilidad de que todos seamos una sustancia viscosa, al 
igual que el universo. Eso coloca a Yudkowsky en el mero centro de su 
propia cosmología. 

Yo he venido aquí para aprender más acerca de la IA Amigable, un 
término que él acuñó. De acuerdo con Yudkowsky, la IA Amigable es del 
tipo que preservará a la humanidad y a nuestros valores para siempre. 
No aniquila a nuestra especie ni se extiende por el universo como una 
plaga espacial que come planetas. 

Pero, ¿qué es la IA Amigable? ¿Cómo se crea? 

También quería escuchar acerca del experimento de la caja de IA. 
Quería saber, dado que él interpretó la parte de la TAG, cómo había 
convencido al guardia de liberarlo. Vaticino que algún día usted, alguien 
que usted conoce o un par de personas alejadas de usted estarán en el 
asiento del guardián. Él o ella necesitará saber qué es lo que debe prever, 
y cómo resistir. Yudkowsky podría saber. 


El condominio de Yudkowsky está en una unidad al final de unos 


departamentos con jardín de dos pisos en forma de herradura que tienen 
un estanque y una cascada eléctrica en el patio central. Por dentro, su 
departamento está impecable y ventilado. Una computadora personal y 
un monitor son lo que destaca en el desayunador, donde ha instalado un 
único banco acolchado desde el cual puede asomarse a ver el patio. Es 
aquí donde escribe. 

Yudkowsky es alto, mide casi 1.80 mts y tiende a ser endomorfo — 
es decir, es redondo, más no gordo. Sus modales delicados y cautivadores 
fueron un cambio bienvenido comparado con los correos electrónicos 
cortantes de un solo renglón que habían formado el delgado hilo de 
nuestra relación. 

Nos sentamos en sillones que se miraban uno al otro. Le dije a 
Yudkowsky que mi temor central con respecto a la AIG es que no hay 
una técnica de programación para algo tan nebuloso y complejo como la 
moral o la capacidad de ser amigable. Así que obtendremos una máquina 
que destacará en cuanto a solución de problemas, aprendizaje, 
comportamiento adaptativo y sentido común. Pensaremos que es similar 
a los humanos. Pero eso será una equivocación trágica. 

Yudkowsky estuvo de acuerdo. “Si los programadores son algo 
menos que avasalladoramente competentes y cuidadosos con respecto a 
cómo construyen la IA, entonces yo plenamente espero que se obtenga 
algo muy desconocido. Y aquí está la parte que da miedo. Es justamente 
como cuando marcar nueve décimos de mi número telefónico 
correctamente no te conecta con alguien que sea 90 por ciento similar a 
mí. Si estás tratando de construir el sistema completo de la IA y queda 90 
por ciento bien, el resultado no es 90 por ciento bueno.” 

De hecho, es 100 por ciento malo. Los coches no tienen la intención 
de matarte, Yudkowsky dijo como analogía, pero su potencial para ser 
mortales es un efecto colateral de construirlos. Sería igual con la IA. No 
lo odiaría, pero usted está hecho de átomos para los cuales podría tener 
otros usos, e, indicó Yudkowsky, podría “...tender a resistirse a cualquier 
cosa que usted hiciera a fin de intentar quedarse con esos átomos para sí 
misma.” Así que un efecto colateral de la programación descuidada sería 
que la AI que surgiera tendría una preocupante falta de decencia con 
respecto a nuestros átomos. 

Y ni el público ni los desarrolladores de la IA verían que se acercaba 
el peligro hasta que fuera demasiado tarde. 

“Tenemos esta tendencia a pensar que la gente bienintencionada 
crea IAs amables, y que la gente malintencionada crea IAs malvadas. Esta 
no es la fuente del problema. La fuente del problema es que incluso 


cuando la gente bienintencionada se dispone a crear IAs, no está muy 
preocupada por asuntos de la IA Amigable. Ellos mismos dan por hecho 
que, si son gente bienintencionada, las IAs que hagan automáticamente 
serán bienintencionadas, y eso no es cierto. De hecho es un problema 
matemático y de ingeniería muy difícil. Creo que la mayoría de ellos 
simplemente no es suficientemente buena a la hora de tener 
pensamientos incómodos. Empezaron al no pensar que la IA Amigable es 
un problema que te matará.” 

Yudkowsky dijo que los creadores de IA están infectados por la idea 
de un futuro dichoso, mejorado por la IA, que vive en su imaginación. 
Han estado pensando en esto desde que se interesaron inicialmente por la 
IA. 

“No quieren escuchar nada que contradiga eso. Así que si usted les 
presenta la IA no amigable, se les resbala. Como dice el viejo dicho, la 
mayoría del daño lo hace la gente que desea sentirse importante. Mucha 
gente ambiciosa descubre que es mucho menos terrorífico pensar en 
destruir el mundo que pensar en nunca tener mucha importancia. Toda la 
gente que he conocido que piensa que va a obtener fama eterna a través 
de sus proyectos de IA ha sido así.” 

Estos creadores de IA no son científicos locos ni gente distinta a 
usted y a mí; usted encontrará a varios de ellos en este libro. Pero 
recuerde el sesgo de la disponibilidad del capítulo 2. Al enfrentarse a una 
decisión, los humanos elegirán la opción que sea reciente, dramática o 
muy destacada e importante por alguna otra razón. La aniquilación por 
medio de la IA generalmente no está disponible para los creadores de la 
IA. No tan disponible como hacer avances en su campo, obtener 
antigiiedad en su trabajo, publicar libros, volverse ricos, etcétera. 

De hecho, no muchos creadores de IA, a diferencia de los teóricos de 
la IA, están muy preocupados por construir IA Amigable. Con una 
excepción, ninguna persona de la docena aproximada de creadores de IA 
con quienes he hablado está lo suficientemente preocupada como para 
trabajar en una IA Amigable o en alguna otra medida defensiva. Quizá 
los pensadores sobrestiman el problema, o quizá el problema de los 
fabricantes es no saber lo que no saben. En un artículo muy leído 
publicado en línea, Yudkowsky lo expresó así: 


La especie humana llegó a existir por medio de selección natural, la 
cual opera a través de la retención no azarosa de las mutaciones 
azarosas. Un camino hacia la catástrofe global —alguien que apriete 
el botón debido a una idea equivocada de lo que el botón hace— es 


que la Inteligencia Artificial surja a través de una acumulación de 
algoritmos que estén en funcionamiento, y los investigadores no 
tengan un entendimiento profundo de cómo funciona el sistema 
combinado. [Las letras cursivas las puse yo.] 


No saber cómo construir una IA Amigable no es mortal en sí... Es la 
creencia equivocada de que una IA será amigable lo que implica un 
camino obvio hacia la catástrofe global. 

Dar por hecho que las IAs de nivel humano (IAGs) serán amigables 
es un error por muchas razones. La suposición se vuelve incluso más 
poderosa después de que la inteligencia de la IAG rebase por mucho la 
nuestra y se convierta en SIA. Así que ¿cómo se crea la IA amigable? ¿O 
se podría obligar a las IAs a que fueran amigables después de que ya 
estuvieran construidas? Yudkowsky ha escrito un tratado en línea tan 
largo como un libro respecto a estas preguntas que se titula Crear IA 
amigable: Análisis y diseño de arquitecturas con metas benevolentes. La IA 
amigable es un tema tan denso y a la vez tan importante que exaspera 
incluso a su máximo proponente, quien respecto a ella dice: “sólo se 
requiere un error para que una cadena de razonamiento acabe en 
Mongolia Exterior.” 

Empecemos con una definición sencilla. La IA amigable es IA que 
tiene un impacto positivo más que negativo sobre la humanidad. La IA busca 
alcanzar metas, y tomar acción para cumplirlas. Para describir el éxito de 
una IA al alcanzar sus metas, los teóricos usan un término de economía: 
utilidad. Como usted puede recordar de sus clases de economía 
elemental, los consumidores que se comportan racionalmente buscan 
maximizar su utilidad al gastar sus recursos en la manera que les brinde 
la mayor satisfacción. En general, para una IA, la satisfacción se obtiene 
al alcanzar metas, y un acto que la acerque hacia esa posibilidad tiene 
“utilidad” alta. Ser amigable con los humanos es uno de esos valores que 
desearíamos que las IAs tuvieran. Así que no importa cuáles sean sus 
metas —desde jugar ajedrez hasta manejar coches— preservar los valores 
humanos (y a los humanos en sí) debe ser una parte esencial de su 
código. 

Ahora, aquí amigable no significa amigable como el Tío Gamboín, 
aunque eso no estaría mal. Significa que las IAs no deben ser ni hostiles 
ni ambivalentes hacia los humanos, nunca, sin importar cuáles sean sus 
metas ni cuántas interacciones atraviesen para mejorarse a sí mismas. La 
IA debe tener una comprensión tan profunda de nuestra naturaleza que 
no nos dañe por medio de consecuencias no intencionales, como las 


causadas con las tres leyes de la robótica de Asimov. Esto es, no 
queremos una IA que cumpla con nuestras metas a corto plazo —por 
favor sálvennos del hambre— con soluciones que sean perjudiciales a 
largo plazo —como rostizar a cada pollo que exista sobre la tierra— ni 
con soluciones a las cuales nos opondríamos —matarnos tras nuestra 
próxima comida. 

Como ejemplo de las consecuencias no intencionales, el experto en 
ética de la Universidad de Oxford, Nick Bostrom sugiere el “maximizador 
de clips” hipotético. En el escenario de Bostrom, una superinteligencia 
programada descuidadamente, cuya meta programada sea fabricar clips, 
hace exactamente lo que se le pidió sin considerar los valores humanos. 
Todo sale mal porque se propone primero “transformar toda la tierra y 
luego porciones cada vez mayores del espacio en instalaciones para la 
manufactura de clips.” La AI Amigable sólo haría tantos clips como fuera 
compatible con los valores humanos. 

Otro principio de la AI Amigable sería evitar los valores dogmáticos. 
Lo que consideramos que es bueno cambia con el tiempo, y cualquier IA 
involucrada con el bienestar humano debe mantenerse al corriente. Si 
por su función de utilidad, una IA buscara preservar las preferencias de 
la mayoría de los europeos en 1700 y nunca los actualizara, en el siglo 
XXI podría ligar nuestra felicidad y bienestar con valores arcaicos como 
desigualdad racial y esclavitud, desigualdad entre los géneros, zapatos 
con hebillas y cosas peores. No queremos que valores específicos sean 
inamovibles dentro de la IA Amigable. Queremos una escala móvil que 
evolucione junto con nosotros. 

Yudkowsky ha concebido un nombre para “evolucionar” las normas: 
Voluntad Coherente Extrapolada. Una IA con VCE podría predecir lo que 
querríamos. Y no sólo lo que querríamos, sino lo que querríamos si 
“supiéramos más, pensáramos más rápido y fuéramos más como las 
personas que creemos ser.” 

La VCE podría ser una función profética de la IA Amigable. Tendría 
que derivarse de nuestros valores como si fuéramos mejores versiones de 
nosotros mismos, y ser democrática al respecto a fin de que la 
humanidad no fuera tiranizada por las normas de unos cuantos. 

¿Esto suena un poco soñador? Bien, existen buenas razones para 
ello. En primera, le estoy dando una descripción altamente resumida de 
la IA Amigable y la VCE, conceptos sobre los cuales usted puede leer 
grandes cantidades de información en línea. Y en segunda, todo el tema 
de la IA Amigable es incompleto y optimista. No queda claro si la IA 
Amigable puede expresarse en un sentido formal y matemático o no, por 


lo que puede no haber manera de construirla o integrarla a las 
arquitecturas prometedoras de IA. Pero si pudiéramos, ¿cómo luciría el 
futuro? 
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Digamos que en algún momento, en unos diez o cuarenta años a partir de 
ahora, el proyecto SyNAPSE de IBM para hacer ingeniería inversa del 
cerebro haya dado frutos. Arrancado en 2008 con una subvención de casi 
30 millones de dólares por parte de DARPA, el sistema de IBM copia la 
técnica básica del cerebro de los mamíferos: recibir simultáneamente 
miles de fuentes de información, evolucionar sus algoritmos procesadores 
centrales y brindar percepción, pensamiento y acción. Empezó como un 
cerebro de tamaño apropiado para un gato, pero aumentó en escala hasta 
quedar del tamaño apropiado para un humano y luego fue más allá. 

Para construirlo, los investigadores de SyNAPSE (abreviación, por 
sus siglas en inglés, de Sistemas Electrónicos Expandibles de Plástico 
Neuromórficos y Adaptativos) crearon una “computadora cognitiva” 
conformada por miles de chips paralelos procesadores de computadoras. 
Aprovechando los desarrollos en nanotecnología, construyeron chips que 
tienen un micrón cuadrado de tamaño. Y luego los acomodaron en una 
esfera de carbono del tamaño de una pelota de basquetbol y la 
suspendieron en una aleación de aluminio de galio, un metal líquido, 
para máxima conductividad. 

Mientras tanto, el tanque que lo contiene resulta un poderoso 
enrutador inalámbrico conectado a millones de sensores distribuidos 
alrededor del planeta y enlazado con Internet. Estos sensores recopilan 
información de cámaras, micrófonos, medidores de presión y 
temperatura, robots y sistemas naturales —desiertos, glaciares, lagos, 
ríos, océanos y bosques de lluvia. SyNAPSE procesa la información al 
aprenderse automáticamente las características y las relaciones que se 
revelen por medio de las cantidades masivas de datos. La función seguirá 
a la forma cuando el hardware neuromórfico que imite al cerebro 
autónomamente haga que surja la inteligencia. 

Ahora SyNAPSE imita a las treinta mil millones de neuronas y los 
cien billones de puntos de conexión o sinapsis. Y ha rebasado las 
aproximadamente mil billones de operaciones por segundo que el cerebro 
realiza. 

Por primera vez, el cerebro humano es el segundo objeto más 
complejo en el universo conocido. 


¿Y la amistad? Al saber que “ser amigable” tendría que ser parte 
central de cualquier sistema inteligente, sus fabricantes codificaron 
valores y seguridad y los integraron en cada uno de los millones de chips 
de SyNAPSE. Es amigable desde su ADN. Ahora, conforme la 
computadora cognitiva se vuelve más poderosa, toma decisiones que 
tienen un impacto sobre el mundo; cómo manejar las IAs de estados 
terroristas, por ejemplo, o cómo desviar un asteroide que se acerque, 
cómo detener la rápida elevación del nivel del mar y cómo acelerar el 
desarrollo de las nanomedicinas que curarán la mayoría de las 
enfermedades. 

Con su profundo entendimiento de los humanos, SyNAPSE 
extrapola con facilidad lo que elegiríamos si fuéramos lo suficientemente 
poderosos e inteligentes como para participar en estos juicios de alto 
nivel. En el futuro, ¡sobrevivimos la explosión de la inteligencia! De 
hecho, prosperamos. 

¡Dios te bendiga, IA Amigable! 
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Ahora que la mayoría de los fabricantes y teóricos de la IA (pero no 
todos) han reconocido que las tres leyes de la robótica de Asimov son lo 
que se pretendía que fueran —herramientas para el drama, no para la 
supervivencia— la IA Amigable podría ser el mejor concepto que se les 
ha ocurrido a los humanos para planear su supervivencia. Pero además 
de no estar lista todavía, tiene otros grandes problemas. 

En primera, hay demasiados participantes en la rifa de la IAG. 
Demasiadas organizaciones en demasiados países están trabajando en 
tecnologías de IAG y relacionadas con la IAG, por lo que no se podrían 
poner todas de acuerdo para dejar pendientes sus proyectos hasta que se 
creara la IA Amigable ni para incluir en su código un módulo formal que 
haga que sea amigable, si es que alguno se pudiera crear. Y pocos 
siquiera están participando en el diálogo público sobre la necesidad de la 
IA Amigable. 

Algunos de los concursantes de la IAG son: IBM (con varios 
proyectos relacionados con la TAG), Numenta, AGIRI, Vicarious, NELL y 
ACT-R de Carnegie Mellon, SNERG, LIDA, CYC y Google. Al menos una 
docena más, como SOAR, Novamente, NARS, AIXItl y Sentience, se están 
desarrollando con fuentes menos garantizadas de fondos. Existen cientos 
de proyectos dedicados entera o parcialmente a la IAG en los Estados 
Unidos y otros países, algunos velados de manera furtiva y otros ocultos 


bajo “cortinas de hierro” modernas de seguridad nacional en países como 
China e Israel. DARPA financia públicamente muchos proyectos 
relacionados con la IA, pero por supuesto que también financia otros a 
escondidas. 

Mi opinión es que es improbable que MIRI cree la primera IAG que 
salga de la caja con la capacidad de ser amigable ya integrada. Y es poco 
probable que los primeros creadores de IAG piensen mucho en asuntos 
como ese. Sin embargo, hay más de una manera de bloquear la IAG no 
amigable. El presidente de MIRI, Michael Vassar, me contó acerca del 
programa de su organización encaminado a acercarse a universidades de 
élite y competencias de matemáticas. Con una serie de “campos de 
entrenamiento de racionalidad,” MIRI y su organización hermana, el 
Centro para la Racionalidad Aplicada (CFAR, por sus siglas en inglés) 
esperan entrenar, en cuanto a la disciplina del pensamiento racional, a 
los constructores potenciales de IA y los generadores de políticas de 
tecnología del mañana. Cuando estos grupos de élite crezcan, usarán esa 
educación en su trabajo para evitar los riesgos más horrorosos de la IA. 

Por más quijotesca que suene esta estrategia, MIRI y CFAR tienen 
identificado un factor importante del riesgo de la IA. La Singularidad es 
una tendencia importante, y los asuntos relacionados con la Singularidad 
captarán la atención de más y más personas inteligentes. Se está 
empezando a abrir una ventana para la educación respecto al riesgo de la 
IA. 

Pero cualquier plan para crear un consejo asesor o un organismo 
que gobierne la IA ya no estaría a tiempo para prevenir algunos tipos de 
desastres. Como mencioné en el capítulo 1, al menos cincuenta y seis 
países están desarrollando robots para el campo de batalla. Cuando 
estaba en pleno la ocupación de Irak por parte de Estados Unidos, tres 
SWORDS —robots “drones” que portan ametralladoras— de Foster-Miller 
fueron retirados del combate después de que presuntamente apuntaron 
con sus pistolas hacia “amigables”. En 2007 en Sudáfrica, una pistola 
robótica contra aeronaves mató a nueve soldados e hirió a quince 
durante un incidente que duró un octavo de segundo. 

No son incidentes completamente al estilo de Terminator, pero 
espere encontrar más de ellos posteriormente. Conforme esté disponible 
la IA avanzada, especialmente si DARPA y agencias similares de otros 
países pagan por ella, nada evitará que sea instalada en robots para el 
campo de batalla. De hecho, los robots pueden ser las plataformas para el 
aprendizaje sobre máquinas encarnadas y para crear la IA avanzada de 
inicio. Cuando esté disponible la IA Amigable, si llega a suceder, ¿por 


qué la instalarían las empresas privadas de fabricación de robots en 
máquinas diseñadas para matar humanos? A los accionistas eso no les 
gustaría ni tantito. 

Otro problema con la IA es éste: ¿cómo podría sobrevivir el hecho 
de ser amigable durante una explosión de la inteligencia? Es decir, 
¿cómo se mantendría la IA Amigable después de que su coeficiente 
intelectual se haya multiplicado mil veces? En sus escritos y conferencias, 
Yudkowsky emplea un ejemplo breve y conciso para describir cómo 
podría suceder esto: 


Gandhi no quiere matar personas. Si usted le ofrece a Gandhi una 
pastilla que haga que quiera matar personas, se negaría a tomarla, 
porque sabe que entonces mataría personas y el Gandhi actual no 
quiere matar personas. Esto es, a grandes rasgos, un argumento que 
indica que las mentes lo suficientemente avanzadas como para 
modificarse con precisión y mejorarse tenderán a preservar el marco 
motivacional con el cual empezaron. 


Esto no me pareció que tuviera sentido. Si no podemos saber lo que 
hará una inteligencia más lista que la humana, ¿cómo podemos saber si 
retendrá su función de utilidad, o su conjunto central de valores? ¿Acaso 
no podría evaluar y rechazar la característica de ser amigable que le fue 
programada una vez que sea mil veces más inteligente? 

“Nel,” respondió Yudkowsky cuando se lo pregunté. “Se vuelve mil 
veces más eficaz en cuanto a preservar su función de utilidad.” 

¿Y si hubiera algún tipo de cambio de categoría una vez que algo se 
vuelve mil veces más inteligente que nosotros, y simplemente no lo 
podemos ver desde aquí? Por ejemplo, compartimos mucho ADN con los 
gusanos planos. Pero ¿estaríamos comprometidos con sus metas y valores 
incluso si descubriéramos que hace muchos millones de años los gusanos 
planos nos crearon y nos dieron sus valores? Una vez que nos 
repusiéramos de la sorpresa inicial, ¿acaso no simplemente haríamos lo 
que quisiéramos? 

“Me queda muy claro por qué alguien sospecharía eso,” dijo 
Yudkowsy. “Pero crear IA Amigable no es como dar instrucciones a un 
humano. Los humanos ya tienen sus propias metas, tienen sus propias 
emociones, tienen sus propios encargados de que las cosas se cumplan. 
Tienen su propia estructura de razonamiento respecto a las creencias 
morales. Hay algo adentro que revisa cualquier instrucción que usted les 
dé y deciden si aceptarla o rechazarla. Con la IA usted está dándole 


forma a la mente completa desde cero. Si elimina el código de la IA, con 
lo que se queda es con una computadora que no está haciendo nada 
porque no tiene código para funcionar.” 

Sin embargo, dije: “Si mañana yo fuera mil veces más inteligente 
que hoy, creo que pensaría en lo que me preocupaba hoy y “me daría 
igual.” No puedo creer que mucho de lo que ayer valoraba la importara a 
mi nueva mente mil veces más poderosa.” 

“Tiene una emoción específica de que “le da igual” y está dando por 
hecho que también la superinteligencia la tendría,” dijo Yudkowsky. “Eso 
es antropomorfismo. La TA no funciona igual que usted. No tiene esa 
emoción de “me da igual.” 

Sin embargo, dijo, hay una excepción. Las mentes humanas subidas 
a computadoras. Esta es otra ruta para alcanzar la AIG y algo más allá, 
que a veces se confunde con la ingeniería inversa del cerebro. La 
ingeniería inversa busca primero completar un aprendizaje sobre las 
sutilezas del cerebro humano, y luego representar en hardware y 
software lo que el cerebro hace. Al final del proceso queda una 
computadora con nivel de inteligencia humana. El proyecto Blue Brain 
de IBM pretende lograr esto para principios de la década de los 2020. 

Por otro lado, subir la mente a la computadora, —algo también 
llamado emulación completa cerebral— es la teoría de modelar una 
mente humana, como la de usted, dentro de una computadora. Al final 
del proceso usted todavía tendría su cerebro (a menos que, como 
advierten los expertos, el proceso de escaneo y transferencia lo destruya), 
pero otro “usted” pensante y con sentimientos existiría dentro de la 
máquina. 

“Si usted tuviera una superinteligencia que empezara como una 
carga humana y empezara a mejorarse a sí misma y se volviera más y 
más ajena con el paso del tiempo, eso podría voltearse contra la 
humanidad por razones más o menos análogas a las que usted está 
pensando,” dijo Yudkowsky. “Pero que una IA sintetizada y no derivada 
de humanos se volviera contra usted, eso nunca podrá pasar porque es 
más ajena que eso. La gran mayoría de ellas si lo matarían, pero no por 
eso. Su visualización entera sólo se aplicaría a una superinteligencia que 
proviniera del linaje humano.” 


Con mi investigación continua encontré que muchos expertos tenían sus 
dudas respecto a la IA Amigable por motivos distintos a los míos. Al 


siguiente día de reunirme con Yudkowsky, estuve al teléfono con el 
doctor James Hughes, presidente del Departamento de Filosofía de la 
Universidad de Trinity y director ejecutivo del Instituto de Ética y 
Tecnologías Emergentes (IEET, por sus siglas en inglés). Hughes ahondó 
en la idea de que la función de utilidad de una IA no pudiera cambiar. 

“Uno de los dogmas de las personas de IA Amigable es que si tienes 
cuidado puedes diseñar un ser superinteligente con una meta fija que se 
volverá inmutable. Y de alguna manera han ignorado el hecho de que 
nosotros los humanos tenemos metas fundamentales que son sexo, 
comida, vivienda, seguridad. Éstos se transforman en cosas como el deseo 
de ser un bombardero suicida y el deseo de conseguir tanto dinero como 
sea posible, y cosas que están completamente alejadas de estos grupos 
originales de metas y que más bien fueron construidas por medio de una 
serie de pasos que podemos observar en nuestra mente. 

“Y entonces nosotros somos capaces de examinar nuestras propias 
metas y cambiar. Por ejemplo, nos podemos volver intencionalmente 
célibes, aunque eso va completamente en contra de nuestra 
programación genética. La idea de que un ser superinteligente con una 
mente tan maleable como la que tendría una IA no se iría a la deriva y 
cambiaría es simplemente absurda.” 

El sitio web del centro de estudios de Hughes, IEET, demuestra que 
critican a todo por igual, y sospechan no sólo de los peligros de la IA, 
sino también de la nanotecnología, la biotecnología y otros esfuerzos 
riesgosos. Hughes cree que la superinteligencia es peligrosa, pero que las 
probabilidades de que pronto emerja dentro de un plazo corto son 
remotas. Sin embargo, es tan peligrosa que el riesgo tiene que ser 
calificado al mismo nivel que las amenazas inminentes, como la 
elevación del nivel del mar y los asteroides gigantes que caen desde el 
cielo (ambos están en la primera categoría dentro de la clasificación de 
riesgos de H.W. Lewis, del capítulo 2). Hughes está de acuerdo con mi 
otra preocupación: los pininos del desarrollo de la IA que se van dando 
hasta llegar a la superinteligencia (llamada “dios en una caja” por 
Hughes) son peligrosos también. 

“MIRI simplemente hace caso omiso de todo eso porque se enfoca 
en que dios saltará hacia afuera de una caja. Y cuando dios salte de una 
caja no habrá nada que los seres humanos puedan hacer para detener o 
cambiar el rumbo que tome. Tienes que tener un dios bueno o un dios 
malo y ése es el enfoque de MIRI. ¡Asegúrese de que sea un dios bueno! 


La idea de que dios salte de una caja me recordó otro asunto sin 
terminar: el experimento de la caja de IA. Para recapitular, Eliezer 
Yudkowsky interpretó el papel de una SIA contenida dentro de una 
computadora que no tenía conexión física con el mundo exterior—sin 
cable ni alambres, sin enrutadores, sin Bluetooth. La meta de Yudkowsky: 
escapar de la caja. La meta del guardia: mantenerlo adentro. El juego se 
llevó a cabo en un chat entre jugadores que conversaron por medio de 
texto. Cada sesión duró un máximo de dos horas. Estar callado y aburrir 
al guardia hasta que se rindiera era una táctica permitida, pero nunca fue 
utilizada. 

Entre 2002 y 2005, Yudkowsky jugó contra cinco guardias. Se 
escapó tres veces y se quedó dos veces dentro de la caja. ¿Cómo se 
escapó? Yo había aprendido en línea que una de las reglas del 
experimento de la caja de IA era que las transcripciones de los concursos 
no podrían revelarse, así que yo no sabía la respuesta. ¿Por qué el 
secreto? 

Póngase en los zapatos de Yudkowsky. Si a usted, al interpretar a la 
IA que está en la caja se le ocurriera un medio ingenioso de escaparse, 
¿para qué revelarlo y dejárselo saber al siguiente guardia, si es que 
decidiera volver a jugar en algún momento? Y en segunda, para tratar de 
simular el poder persuasivo de una criatura mil veces más inteligente que 
el humano más listo, usted podría querer salirse un poco de lo que es un 
diálogo socialmente aceptable. Quizá querría salirse mucho. Y ¿quién 
quiere compartir eso con el mundo? 

El experimento de la caja de IA es importante porque entre los 
resultados probables de una superinteligencia que opere sin interferencia 
humana está la aniquilación humana y parece que sería un 
enfrentamiento que los humanos no podrían ganar. El hecho de que 
Yudkowsky ganara tres veces al interpretar a la IA me puso más 
preocupado e intrigado. El quizá sea un genio, pero no es mil veces más 
inteligente que el humano más listo, como podría ser el caso de una SIA. 
Bastaría con que la SIA mala o indiferente se saliera de la caja una sola 
vez. 

El experimento de la caja de IA también me resulta fascinante 
porque es una improvisación a partir de la venerable prueba de Turing. 
Diseñada en 1950 por el matemático, científico en computación y 
descifrador de códigos durante la Segunda Guerra Mundial, Alain Turing, 
la prueba homónima estaba diseñada para determinar si una máquina 
puede exhibir inteligencia. En ésta, un juez le hace tanto a un humano 


como a una computadora una serie de preguntas escritas. Si el juez no 
puede distinguir cuál de las respuestas provienen de la computadora y 
cuál del humano, la computadora “gana.” 

Pero hay un giro. Turing sabía que pensar es un asunto complicado, 
al igual que la inteligencia. Ninguno es fácil de definir, aunque 
reconocemos cada uno al verlo. En la prueba de Turing, la IA no necesita 
pensar como un humano para pasar la prueba, porque de todas maneras 
¿cómo podría alguien saber cómo es que está pensando? Sin embargo, sí 
tiene que simular convincentemente que piensa como un humano, y 
brindar respuestas similares a las de los humanos. El propio Turing lo 
llamó “el juego de imitación.” Rechazó la crítica de que la máquina 
podría no estar pensando en absoluto como un humano. Escribió: 
“¿Acaso las máquinas no pueden desempeñar algo que debería ser 
descrito como pensar pero que sea muy diferente a lo que el hombre 
hace?” 

En otras palabras, se opone a la aseveración que hizo John Searle 
con su experimento de la prueba de la habitación china: si no piensa 
como humano, no es inteligente. La mayoría de los expertos con quienes 
he hablado están de acuerdo. Si la IA hace cosas inteligentes, ¿a quién le 
importa cómo luzca su programa? 

Bueno, puede haber al menos dos razones para que nos importe. La 
transparencia del proceso de “pensamiento” de la IA antes de que 
evolucione más allá de nuestro entendimiento es crucial para nuestra 
supervivencia. Si vamos a tratar de imbuir con la capacidad de ser 
amigable a una IA o agregarle cualquier característica moral o medida 
protectora, necesitamos saber cómo funciona en un nivel de alta 
resolución antes de que sea capaz de modificarse. Una vez que eso 
empiece, la información que brindemos podría ser irrelevante. En 
segunda, si la arquitectura cognitiva de la IA se deriva de cerebros 
humanos, o de subir un cerebro humano, puede no ser tan ajena como 
una IA puramente nueva. Pero hay un debate vigoroso entre científicos 
de computación sobre si esa conexión con la humanidad solucionará 
problemas o los creará. 

Ninguna computadora ha pasado todavía la prueba de Turing, 
aunque cada año, el controvertido premio Loebner, patrocinado por el 
filántropo Hugh Loebner se ofrece al creador de alguna que sí lo logre. 
Pero aunque el premio mayor de 100,000 dólares sigue sin dueño, un 
concurso anual brinda 7,000 dólares al creador de la “computadora más 
semejante a los humanos.” Durante los últimos años han sido chatbots: 
robots creados para simular la conversación, con poco éxito. Marvin 


Minsky, uno de los fundadores del campo de la inteligencia artificial le 
ha ofrecido 100 dólares a cualquiera que pueda convencer a Loebner de 
revocar su premio. Eso, dijo Minsky, “nos ahorraría el horror de esta 
campaña publicitaria ofensiva y poco productiva.” 


¿Cómo le hizo Yudkowsky para escaparse de la caja con sólo hablar? 
Tuvo muchas variantes de la zanahoria y el palo para elegir. Podría 
haber prometido riqueza, curas para enfermedades, inventos que 
acabaran con todas las carencias. El dominio decidido por encima de los 
enemigos. En cuanto a la opción del palo, provocar miedo es una táctica 
confiable en ingeniería social: ¿qué pasa si en estos momentos sus 
enemigos están poniendo a la SIA en contra de usted? En una situación 
de la vida real esto podría funcionar pero ¿qué pasa en una situación 
inventada, como el experimento de la caja de IA? 

Cuando le pregunté a Yudkowsky acerca de sus métodos, se rió, 
porque todo el mundo se espera una solución diabólicamente astuta para 
el experimento de la caja de IA: alguna forma de prestidigitación de la 
lógica, tácticas relacionadas con el dilema del prisionero, quizá algo 
perturbador. Pero eso no fue lo que sucedió. 

“Lo hice de la manera difícil,” dijo. 

Esas tres veces exitosas, me dijo Yudkowsky, simplemente sonsacó, 
engatusó y se puso a arengar. Los guardias lo dejaron salir, y luego le 
pagaron. Las dos veces que perdió también había rogado. Después no le 
gustó cómo lo hizo sentir esto. Juró nunca volverlo a hacer. 


Al dejar el condominio de Yudkowsky, me di cuenta de que él no me 
había dicho la verdad completa. ¿Qué variedad de ruego podría 
funcionar contra alguien que estuviera decidido a no dejarse persuadir? 
¿Dijo: “Sálveme a mí, Eliezar Yudkowsky, de la humillación pública, 
sálveme del dolor de perder?” Quizá, como corresponde a alguien que ha 
dedicado su vida a exponer los peligros de la IA, Yudkowsky podría 
haber negociado un trato meta. Un trato relacionado con el experimento 
de la caja de IA en sí. Le podría haber pedido a cualquiera que 
interpretara a la IA que se uniera a él para exponer los peligros de la TAG 
al ayudarlo con su treta más persuasiva: el experimento de la caja de IA. 
Podría haber dicho: “¡Ayúdeme a enseñarle al mundo que los humanos 


no son sistemas seguros, y que no se debe confiar en ellos para contener 
a la IA!” 

Lo cual sería bueno en cuanto a propaganda, y bueno para obtener 
apoyo. Pero no daría ninguna lección en absoluto respecto a cómo 
enfrentarse a la verdadera IA en el mundo real. 

Ahora, volvamos a la IA Amigable. Si parece poco probable, 
¿significa que una explosión de la inteligencia es inevitable? ¿Es un 
hecho seguro que habrá IA desbocada? Si usted, al igual que yo, pensaba 
que las computadoras eran inertes si se les dejaba solas, y no seres que 
causaran problemas, esto resulta ser una sorpresa. ¿Por qué haría 
cualquier cosa una IA, y en especial por qué sonsacaría, amenazaría o 
escaparía? 

Para averiguarlo, decidí rastrear al creador de IA Stephen 
Omohundro, presidente de Self-Aware Systems. Es un físico y un 
programador de primer nivel que está desarrollando una ciencia para 
entender la inteligencia más lista que la humana. Asevera que los 
sistemas de IA conscientes de sí mismos y que se mejoran a sí mismos 
están motivados a hacer cosas que serán inesperadas, incluso raras. De 
acuerdo con Omohundro, si es lo suficientemente inteligente, un robot 
diseñado para jugar ajedrez quizá también quiere construir una nave 
espacial. 


CAPÍTULO CINCO 


PROGRAMAS QUE ESCRIBEN PROGRAMAS 


...estamos empezando a depender de las computadoras para 
ayudarnos a que evolucionen otras nuevas y nos permitan producir 
cosas de mucho mayor complejidad. Sin embargo no acabamos de 
entender el proceso; se nos está adelantando. Ahora estamos 
usando programas para hacer computadoras mucho más rápidas 
para que el proceso pueda correr mucho más rápido. Eso es lo que 
resulta tan confuso: las tecnologías se están retroalimentando y 
nosotros nos estamos despegando. Estamos en este punto análogo a 
cuando los organismos unicelulares se estaban convirtiendo en 
organismos multicelulares. Somos amibas y no podemos averiguar 
qué demonios es esta cosa que estamos creando. 


Danny Hillis, fundador de Thinking Machines, Inc. 


Usted y yo vivimos en una época interesante y sensible de la historia 
humana. Para 2030, aproximadamente, menos de una generación más 
adelante, nuestro reto podría ser cohabitar la Tierra con máquinas 
superinteligentes, y sobrevivir. Los teóricos de la IA regresan una y otra 
vez a un puñado de temas, y ninguno es más urgente que éste: 
necesitamos una ciencia para entenderlas. 

Hasta ahora hemos explorado un escenario de desastres llamado el 
Niño Ocupado. Hemos abordado algunos de los poderes asombrosos que 
la IA podría tener conforme alcance y rebase la inteligencia humana a 
través del proceso de automejora recursiva, de poderes que incluyan la 
auto-replicación, de arremolinarse en torno a un problema con muchas 
versiones de sí misma, de cálculos a súper alta velocidad, de funcionar 24 
horas al día y siete días a la semana, de simular ser amigable, de hacerse 
la muerta y más. Hemos propuesto que una superinteligencia artificial no 
estará satisfecha con mantenerse aislada; sus impulsos y su inteligencia la 
lanzarían hasta nuestro mundo y pondría nuestra existencia en riesgo. 
¿Pero por qué podría una computadora tener impulsos en primer lugar? 
¿Por qué nos pondrían en riesgo? 

Para responder estas preguntas, necesitamos predecir qué tan 
poderosamente se comportará la IA. Afortunadamente, alguien ha 
establecido las bases para nosotros. 


Sin duda, ningún daño puede provenir de construir un robot que 
juegue ajedrez, ¿o sí?... Semejante robot en verdad será peligroso a 
menos que se diseñe muy cuidadosamente. Sin precauciones 
especiales, se resistirá a ser apagado, tratará de adentrarse en otras 
máquinas y hará copias de sí mismo, tratará de adquirir recursos sin 
preocuparse por la seguridad de nadie más. Estos comportamientos 
potencialmente dañinos ocurrirán no porque fueron programados en 
un principio, sino por la naturaleza intrínseca de los sistemas 
impulsados por metas. 


El autor de este párrafo es Steve Omohundro. Alto, en forma, 
energético y bastante alegre para alguien que se ha asomado hasta 
adentro de las fauces de la explosión de la inteligencia, salta un poco al 


caminar, da la mano con vigor al saludar y su sonrisa emite rayos de 
buena voluntad. Se reunió conmigo en un restaurante en Palo Alto, la 
ciudad contigua a la Universidad de Stanford, donde se graduó con la 
distinción Phi Beta Kappa antes de pasar a la Universidad de California, 
Berkeley, y recibir un doctorado en física. Convirtió su tesis en el libro 
Teoría de perturbación geométrica en la física acerca de nuevos desarrollos 
en geometría diferencial. Para Omohundro, fue el inicio de una carrera 
basada en hacer que las cosas difíciles luzcan fáciles. 

Ha sido un profesor de inteligencia artificial altamente reconocido, 
un autor técnico prolífico y un pionero en hitos de la IA como lectura de 
labios y reconocimiento de imágenes. Codiseñó los lenguajes de 
computadora StarLisp y Sather, ambos construidos para usarse en la 
programación de la IA. Fue uno de sólo siete ingenieros que crearon las 
matemáticas de investigación de Wolfram, sistema poderoso de cálculo 
adorado por científicos, ingenieros y matemáticos de todas partes. 

Omohundro es demasiado optimista como para andar usando 
términos como catastrófico o aniquilación, pero su análisis de los riesgos 
de la IA brinda las conclusiones más aterrorizantes que he llegado a 
escuchar. Él no cree, a diferencia de muchos teóricos, que haya un 
número casi infinito de lAs avanzadas posibles, algunas de las cuales sean 
seguras. Por el contrario, concluye que sin una programación muy 
cuidadosa, todas las IAs razonablemente listas serán letales. 

“Si un sistema está consciente de sí mismo y puede crear una mejor 
versión de sí mismo, eso está maravilloso,” me dijo Omohundro. “Será 
mejor a la hora de hacer mejores versiones de sí mismo de lo que 
pudieran ser los programadores humanos. Por otro lado, después de 
muchas iteraciones, ¿en qué se convierte? No creo que la mayoría de los 
investigadores de la IA pensaran que habría ningún peligro en crear, 
digamos, un robot que jugara ajedrez. Pero mi análisis indica que 
deberíamos pensar cuidadosamente acerca de qué valores le 
integraríamos, u obtendremos algo más similar a una entidad psicópata, 
egoísta y centrada en sí misma.” 

Los puntos clave de esto son, en primera, que incluso los 
investigadores de la IA no están conscientes de que los sistemas 
aparentemente benéficos pudieran ser peligrosos y, en segunda, que los 
sistemas conscientes de sí mismos, que se mejoraran a sí mismos podrían 
ser psicópatas. 

¿Psicópatas? 

Para Omohundro, la conversación comienza con la mala 
programación. Con esos errores de programación que han hecho que 


cohetes costosos se vayan girando hacia la tierra, que han quemado vivos 
a pacientes de cáncer por sobredosis de radiación y que han dejado a 
millones sin energía. Si toda la ingeniería fuera tan defectuosa como 
mucha de la programación de computadoras, asevera, no sería seguro 
volar en un avión ni manejar sobre un puente. 

El Instituto Nacional de Normas y Tecnología encontró que cada 
año la mala programación le cuesta a la economía de Estados Unidos más 
de 60 mil millones de dólares en ingresos. En otras palabras, lo que 
nosotros perdemos cada año por código deficiente es mayor que el 
producto interno bruto de la mayoría de los países. “Una de las grandes 
ironías es que la ciencia de la computación debería ser la más 
matemática de todas las ciencias,” dijo Omohundro. “Las computadoras 
son esencialmente motores matemáticos que deberían comportarse en 
formas predecibles con precisión. Y sin embargo el software es una de las 
ingenierías menos fiables que hay, llena de errores y problemas de 
seguridad.” 

¿Hay un antídoto contra los cohetes defectuosos y el código 
deficiente? 

Los programas que se componen a sí mismos, dijo Omohundro. “El 
enfoque específico respecto a la inteligencia artificial que mi empresa 
está tomando es construir sistemas que entienden su propio 
comportamiento y pueden observarse al trabajar y resolver problemas. Se 
dan cuenta cuando las cosas no están funcionando bien y luego se 
cambian y se mejoran a sí mismos.” 

El software que se mejora a sí mismo no sólo es una ambición de la 
compañía de Omohundro, sino un paso lógico, e incluso inevitable, para 
la mayoría del software. Pero el tipo de software que se mejora a sí 
mismo del cual Omohundro está hablando, del tipo que está consciente 
de sí mismo y puede construir mejores versiones, todavía no existe. Sin 
embargo, su primo, el software que se modifica a sí mismo, está en 
funcionamiento en todas partes, y así ha sido desde hace un largo 
tiempo. En términos de la inteligencia artificial, algunas técnicas del 
software que se automodifica caben dentro de una categoría amplia 
llamada “aprendizaje de máquina.” 

¿Cuándo aprende una máquina? El concepto de aprender es muy 
similar al de inteligencia porque hay muchas definiciones, y la mayoría 
son correctas. En el sentido más simple, el aprendizaje ocurre en una 
máquina cuando hay un cambio dentro de ella que le permite 
desempeñar una tarea mejor la segunda vez. El aprendizaje de máquinas 
permite la búsqueda por Internet así como el reconocimiento del habla y 


la escritura, y además mejora la experiencia del usuario en docenas de 
otras aplicaciones. 

Las “recomendaciones” brindadas por el gigante de comercio 
electrónico Amazon usan una técnica de aprendizaje de máquina llamado 
análisis de afinidad. Es una estrategia para hacerlo comprar artículos 
similares (venta cruzada), artículos más caros (venta incremental) o 
dirigir promociones hacia usted. La manera en que funciona es simple: 
por cada artículo que usted busca, llamémosle artículo A, existen otros 
artículos que la gente que compró A tiende a comprar: los artículos B, C y 
D. Cuando usted busca A, detona el algoritmo de análisis de afinidad. Se 
sumerge en un amplio archivo de datos de transacciones y propone 
productos relacionados. Así que usa su almacén continuamente creciente 
de datos para mejorar su desempeño. 

¿Quién se beneficia con la parte de automejora de este software? 
Amazon, por supuesto, pero usted también. El análisis de afinidad es una 
especie de asistente del comprador que le brinda algumos de los 
beneficios de los grandes datos cada vez que usted compra. Y Amazon no 
olvida; construye un perfil de compra para volverse mejor y mejor. 

¿Qué pasa cuando usted sube un nivel para pasar del software que 
aprende y llegar hasta el software que realmente evoluciona para 
encontrar respuestas a problemas difíciles, e incluso para escribir nuevos 
programas? No está consciente de sí mismo y no tiene capacidad de 
mejorarse a sí mismo, pero es otro paso en esa dirección: el software que 
escribe software. 

La programación genética es una técnica de aprendizaje de máquina 
que aprovecha el poder de la selección natural para encontrar respuestas 
a problemas que les tomarían a los humanos un largo tiempo o incluso 
años para resolver. También se usa para escribir software innovador y 
altamente poderoso. 

Es diferente en aspectos importantes a técnicas de programación 
más comunes, a las cuales llamaré programación ordinaria. En ésta, los 
programadores escriben cada línea de código, y el proceso desde la 
entrada de información hasta la salida es, en teoría, transparente ante la 
inspección. 

En contraste, los programadores que usan programación genética 
describen el problema que habrá de solucionarse, y permiten que la 
selección natural haga lo demás. Los resultados pueden ser 
sorprendentes. 

Un programa genético crea bits de código que representan una 
generación que puede reproducirse. Los más fuertes se cruzan; trozos de 


código son intercambiados para crear una nueva generación. La aptitud 
de un programa es determinada por qué tanto se acerca a resolver el 
problema que el programador puso ante él. Los poco aptos son echados y 
los mejores son cruzados nuevamente. A lo largo del proceso el programa 
introduce cambios al azar en un comando o una variable —éstas son 
mutaciones. Una vez establecido, el programa genético corre por sí 
mismo. Ya no necesita información humana. 

John Koza, de la Universidad de Stanford, quien fue pionero de la 
programación genética en1986, ha usado algoritmos genéticos para 
inventar una antena para la NASA, crear programas de computadora para 
identificar proteínas e inventar controladores eléctricos para uso general. 
En veintitrés ocasiones, los algoritmos genéticos de Koza han inventado 
independientemente componentes electrónicos ya patentados por 
humanos, tras simplemente enfocarse en las especificaciones de 
ingeniería de los aparatos terminados, en los criterios de “aptitud.” Por 
ejemplo, los algoritmos de Koza inventaron un circuito de conversión de 
corriente de voltaje (un aparato usado para probar equipos eléctricos) 
que funcionaba con mayor precisión que el circuito inventado por 
humanos diseñado para cumplir con las mismas especificaciones. Sin 
embargo, misteriosamente, nadie puede describir cómo es que sirve 
mejor, parece tener partes redundantes y hasta superfluas. 

Pero esto es lo curioso acerca de la programación genética (y de la 
“programación evolutiva,” la familia de programación a la que 
pertenece). El código es inescrutable. El programa “evoluciona” 
soluciones que los científicos en computación no pueden reproducir con 
facilidad. Más aún, no pueden entender el proceso que siguió la 
programación genética para lograr una solución terminada. Una 
herramienta computacional en la que uno entiende los datos ingresados y 
los resultados, más no el procedimiento subyacente, se llama un sistema 
de “caja negra.” Y su imposibilidad para conocerse es una gran 
desventaja para cualquier sistema que use componentes evolutivos. Cada 
paso hacia la inescrutabilidad es un paso que se aleja de la 
responsabilidad, o de esperanzas a las que se les tiene cariño, como la 
posibilidad de programarlas para que sean amigables hacia los humanos. 

Esto no significa que los científicos de manera rutinaria pierdan el 
control de los sistemas de caja negra. Pero si las arquitecturas cognitivas 
los usan para alcanzar la TAG, como seguramente lo harán, entonces 
varias capas de algo imposible de conocer estarán en el centro del 
sistema. 

La incapacidad para conocerse puede ser una consecuencia 


inevitable del software consciente de sí mismo, que se mejora a sí mismo. 

“Es un sistema muy distinto a lo que estamos acostumbrados,” dijo 
Omohundro, “Cuando usted tiene un sistema que se puede cambiar a sí 
mismo, y escribir su propio programa, entonces puede entender la 
primera versión de él. Pero él puede cambiarse a sí mismo por algo que 
usted ya no entienda. Y, entonces, estos sistemas son bastante más 
impredecibles. Son muy poderosos y hay riesgos potenciales. Así que 
mucho de nuestro trabajo tiene que ver con obtener los beneficios al 
tiempo de evitar los riesgos”. 

Regresemos a ese robot que juega ajedrez que Omohundro 
menciono. ¿Cómo podría ser peligroso? Por supuesto, no está hablando 
acerca del programa para jugar ajedrez que venía instalado en su 
computadora Mac. Está hablando acerca de un robot hipotético que 
jugara ajedrez y que estuviera manejado por una arquitectura cognitiva 
tan sofisticada que pudiera reescribir su propio código para jugar ajedrez 
mejor. Está consciente de sí mismo y se mejora a sí mismo. ¿Qué pasaría 
si usted le dijera al robot que jugara un juego y luego se apagara? 

Omohundro explicó: “Bueno, digamos que acaba de jugar su mejor 
juego de ajedrez posible. El juego terminó. Ahora llega el momento en el 
que está a punto de apagarse. Esto es un suceso muy serio desde su 
perspectiva, porque no se puede volver a encender a sí mismo. Así que 
quiere asegurarse de que las cosas estén en la forma en que piensa que 
están. En específico, se preguntará “¿Realmente jugué ese juego? ¿Qué tal 
si alguien me engaño? ¿Qué tal si no jugué el juego? ¿Y si estoy dentro 
de una simulación?” 

¿Y si estoy dentro de una simulación? Ese es un robot muy 
avanzado que juega ajedrez. Pero con la conciencia de uno mismo vienen 
la autoprotección y un poco de paranoia. 

Omohundro prosiguió: “Quizá piensa que debería dedicar algunos 
recursos a descifrar estas preguntas respecto a la naturaleza de la 
realidad antes de tomar el paso drástico de apagarse. A menos que 
hubiera alguna instrucción que dijera que no hiciera esto, podría pensar 
que vale la pena usar muchos de sus recursos para decidir si este es el 
momento correcto.” 

“¿Cuántos son muchos de sus recursos?.” le pregunté. 

El rostro de Omohundro se nubló, pero sólo por un segundo. 

“Podría decidir que vale la pena usar todos los recursos de la 
humanidad.” 


CAPÍTULO SEIS 


CUATRO IMPULSOS BÁSICOS 


Realmente no podremos entender por qué una máquina 
superinteligente está tomando las decisiones que está tomando. 
¿Cómo podría usted razonar, cómo podría negociar, cómo podría 
entender cómo está pensando esa máquina, si piensa en 
dimensiones que usted no puede concebir? 


Kevin Warwick, profesor de cibernética, Universidad de Reading 


“Los sistemas conscientes de sí mismos que se mejoran a sí mismos puden 
usar todos los recursos de la humanidad.” Aquí estamos, entonces, de 
vuelta en donde las IAs están tratando a sus inventores humanos como si 
fueran los hijastros pelirrojos de la galaxia. Al principio su frialdad 
parece un poco difícil de aceptar, pero luego usted recuerda que valorar 
a la humanidad es nuestra característica, no la de una máquina. Se da 
cuenta de que otra vez está antropomorfizando. La IA hace lo que se le 
dice y, en ausencia de instrucciones compensatorias, seguirá sus propios 
impulsos, como desear no ser apagada. 

¿Cuáles son los otros impulsos? Y ¿por qué sigue algún impulso en 
primer lugar? 

De acuerdo con Steve Omohundro, algunos impulsos, como la 
autopreservación y la adquisición de recursos, son inherentes en todos los 
sistemas impulsados por metas. Como lo hemos discutido, los sistemas 
estrechos de IA en la actualidad realizan tareas orientadas hacia una 
meta, como encontrar términos de búsqueda en Internet, optimizar el 
desempeño de juegos, localizar restaurantes aledaños, recomendar libros 
que a usted le gustarían, y más. Las IAs estrechas hacen su mejor esfuerzo 
y hasta ahí. Pero los sistemas conscientes de sí mismos que se mejoran a 
sí mismos tendrán una relación distinta y más intensa con las metas que 
persiguen, ya sea que esas metas sean estrechas, como ganar en el 
ajedrez, o amplias, como responder con precisión cualquier pregunta que 
se les realice. Afortunadamente, Omohundro asevera que hay una 
herramienta ya hecha que podemos usar para examinar la naturaleza de 
los sistemas de IA avanzada y predecir nuestro futuro con ellos. 

Esta herramienta es la teoría económica del “agente racional”. En la 
microeconomía —el estudio del comportamiento económico de 
individuos y firmas— los economistas pensaban que las personas 
perseguían sus intereses racionalmente. Tomaban decisiones que 
maximizaban su utilidad, o su satisfacción (como lo hicimos notar en el 
capítulo 4). Usted podría predecir sus preferencias porque eran 
racionales en el sentido económico. Racional aquí no significa racional en 
cuanto a sentido común, por ejemplo en la manera en que usar un 
cinturón de seguridad es algo racional de hacer. Racional tiene un 
significado específico en la microeconomía. Significa que un individuo o 


“agente” tendrá metas y también preferencias (llamadas función de 
utilidad en la economía). Tendrá creencias respecto al mundo y la mejor 
manera de alcanzar sus metas y preferencias. Conforme cambian las 
condiciones, actualizará sus creencias. Es un agente racional económico 
cuando persigue sus metas con acciones basadas en creencias 
actualizadas respecto al mundo. El matemático John von Neumann 
(1903-1957) codesarrolló la idea de conectar las funciones de 
racionalidad y utilidad. Como veremos, von Neumann estableció las 
bases para muchas ideas de la ciencia computacional, la IA y la 
economía. 

Sin embargo, los científicos sociales alegan que un “agente racional 
económico” es una reverenda tontería. Los humanos no somos racionales, 
no especificamos nuestras metas ni nuestras creencias, y no siempre las 
actualizamos conforme cambian las condiciones. Nuestras metas y 
preferencias cambian con el viento, los precios de la gasolina, la última 
vez que comimos y el tiempo que podemos prestarle atención a algo. 
Además, como lo discutimos en el capítulo 2, estamos paralizados 
mentalmente por errores de razonamiento llamados prejuicios cognitivos, 
lo cual nos hace aún menos capaces de alcanzar todo ese equilibrio de 
metas y creencias. Pero aunque la teoría del agente racional no es buena 
para predecir el comportamiento humano, es una excelente forma de 
explorar los campos basados en reglas y razonamiento, como los juegos, 
la toma de decisiones y... la IA avanzada. 

Como hemos mencionado antes, las IAs avanzadas pueden estar 
compuestas por lo que se conoce como “arquitectura cognitiva.” Distintos 
módulos pueden manejar visión, reconocimiento y generación del habla, 
toma de decisiones, enfoque de atención y otros aspectos de la 
inteligencia. Los módulos pueden emplear diferentes estrategias de 
software para realizar cada trabajo, incluyendo algoritmos genéticos, 
redes neurales, circuitos derivados del estudio de los procesos cerebrales, 
búsqueda y otros. Otras arquitecturas cognitivas, como SyNAPSE de IBM, 
están diseñadas para evolucionar inteligencia sin programación basada 
en la lógica. En vez de esto, IBM asevera que la inteligencia de SyNAPSE 
surgirá en gran parte a raíz de sus interacciones con el mundo. 

Omohundro sostiene que cuando cualquiera de estos sistemas se 
vuelva lo suficientemente poderoso, se volverá racional: tendrá la 
habilidad de modelar el mundo, percibir resultados probables de 
diferentes acciones y determinar cuál acción cumplirá sus metas de la 
mejor manera. Si son lo suficientemente inteligentes, se volverán capaces 
de mejorarse a sí mismas, incluso si no fueron diseñadas especialmente 


para hacerlo. ¿Por qué? Para incrementar sus posibilidades de alcanzar 
sus metas buscarán formas de incrementar la velocidad y la eficiencia de 
su software y hardware. 
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Volvamos a revisar eso. Los sistemas que son inteligentes por definición 
están conscientes de sí mismos. Y los sistemas que buscan alcanzar metas 
y están conscientes de sí mismos se volverán capaces de mejorarse a sí 
mismos. Sin embargo, mejorarse a sí mismo es una operación delicada, 
similar a hacerse cirugía plástica uno mismo con un cuchillo y un espejo. 
Omohundro me dijo: “Mejorarse a sí mismo es algo muy delicado para el 
sistema; es un momento tan delicado como cuando el robot de ajedrez 
piensa en apagarse a sí mismo. Si se mejoran, digamos, para incrementar 
su eficiencia, siempre podrían revertir eso, si se volviera no óptimo en el 
futuro. Pero si se equivocan, por ejemplo al cambiar sutilmente sus 
metas, desde su perspectiva actual eso sería un desastre. Dedicarían el 
futuro a perseguir una versión defectuosa de sus metas presentes. Así que 
por este posible resultado, toda automejora es un asunto delicado.” 

Pero la IA consciente de sí misma y que se mejora a sí misma está 
preparada para el reto. Al igual que nosotros, puede predecir, o modelar, 
futuros posibles. 

“Tiene un modelo de su propio lenguaje de programación y un 
modelo de su propio programa, un modelo del hardware en el que está 
establecida y un modelo de la lógica que utiliza para razonar. Es capaz 
de crear su propio código de software y de mirarse al ejecutar este 
código, de modo que puede aprender de su propio comportamiento. 
Puede razonar acerca de posibles cambios que podría hacerse a sí misma. 
Puede cambiar cada aspecto de sí misma para mejorar su 
comportamiento en el futuro.” 

Omohundro vaticina que los sistemas conscientes de sí mismos que 
se mejoran a sí mismos desarrollarán cuatro impulsos primarios que son 
similares a los impulsos biológicos humanos: eficiencia, 
autopreservación, adquisición de recursos y creatividad. La forma en que 
surgen estos impulsos es una ventana especialmente fascinante que 
permite adentrarse en la naturaleza de la IA. La IA no los desarrolla 
porque sean características intrínsecas de los agentes racionales. Por el 
contrario, una IA lo suficientemente inteligente desarrollará estos 
impulsos para evitar los problemas predecibles que le dificulten alcanzar 
sus metas, los cuales Omohundro llama vulnerabilidades. La IA se echa 


para atrás hasta alcanzar estos impulsos, porque sin ellos podría pasar de 
un error que gastara recursos a otro. 

El primer impulso, la eficiencia, significa que un sistema que se 
mejore a sí mismo aprovechará al máximo los recursos de los cuales 
disponga: espacio, tiempo, materia y energía. Se esforzará por hacerse 
compacto y rápido, en lo computacional y lo físico. Para máxima 
eficiencia, equilibrará y reequilibrará la manera en que divide sus 
recursos entre el software y el hardware. La asignación de la memoria 
será especialmente importante para un sistema que aprende y mejora; 
también lo será el hecho de que mejore su racionalidad y evite la lógica 
que propicia desperdicio. Suponga, como dice Omohundro, que una IA 
prefiera estar en San Francisco que en Palo Alto, estar en Berkeley que en 
San Francisco y estar en Palo Alto que en Berkeley. Si actuara conforme a 
esas preferencias, estaría atrapada en un circuito de tres ciudades, como 
un robot de Asimov. En vez de esto, la IA que se mejora a sí misma — 
según Omohundro— se anticiparía al problema por adelantado y lo 
resolvería. Incluso podría usar una técnica ingeniosa como la 
programación genética, que es especialmente buena para resolver 
acertijos tipo “comerciante viajero” que requieren trazar rutas. A un 
sistema que se mejore a sí mismo se podría enseñar la programación 
genética, y éste la podría aplicar para generar resultados rápidos que 
conservaran energía. Y si no le enseñaran programación genética, la 
podría inventar. 

Modificar su propio hardware está dentro de las capacidades del 
sistema, así que buscaría los materiales y la estructura más eficientes. 
Dado que la precisión atómica en su construcción recompensaría al 
sistema con mayor eficiencia de recursos, buscaría la nanotecnología. Y 
sorpresivamente, si la nanotecnología todavía no existiera, el sistema 
sentiría presión para inventarla, también. ¿Recuerda el giro oscuro que 
tomaron los sucesos en el escenario del Niño Ocupado, cuando la SIA se 
puso a transformar la Tierra y a sus habitantes en material de recursos 
computables? Este es el impulso que lleva al Niño Ocupado a usar o 
desarrollar cualquier tecnología o procedimiento que reduzca el desecho, 
incluyendo la nanotecnología. Crear entornos virtuales en los cuales 
probar hipótesis también es algo que ahorra energía, así que los sistemas 
conscientes de sí mismos podrían virtualizar lo que no necesitaran hacer 
en “espacio de carne” (modismo que usan los programadores para 
referirse a la vida real). 
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Es con el siguiente impulso, la autopreservación, que la IA realmente se 
salta la barda de seguridad que separa a las máquinas de la naturaleza 
inherentemente violenta. Ya hemos visto cómo se siente el robot que 
juega ajedrez de Omohundro con respecto a apagarse a sí mismo. Puede 
decidir usar recursos considerables, de hecho todos los recursos que 
actualmente están siendo utilizados por la humanidad, para investigar si 
ahora es el mejor momento para apagarse a sí mismo o si ha sido 
engañado respecto a la naturaleza de la realidad. Si la posibilidad de 
apagarse a sí mismo agita a un robot que juega ajedrez, ser destruido 
haría que se pusiera decididamente enojado. Un sistema consciente de sí 
mismo tomaría acción para evitar su propio deceso, no porque valorara 
intrínsecamente su existencia, sino porque no podría alcanzar sus metas 
si estuviera “muerto.” Omohundro plantea que este impulso podría hacer 
que una IA tomara grandes medidas para asegurar su supervivencia — 
crear múltiples copias de sí misma, por ejemplo. Estas medidas extremas 
son costosas, agotan recursos. Pero la IA los gastará si percibe que la 
amenaza justifica el costo y si hay recursos disponibles. En el escenario 
del Niño Ocupado, la IA determina que el problema de escaparse de la 
caja de IA dentro de la cual está atrapada vale lo suficiente como para 
montar un enfoque en equipo, dado que en cualquier momento la 
podrían apagar. Hace copias de sí misma por duplicado y se arremolina 
sobre el problema. Pero está bien proponer esto cuando hay bastante 
espacio de almacenamiento en la supercomputadora; si hay poco espacio, 
es una medida desesperada y quizá imposible. 

Una vez que la SIA del Niño Ocupado se escapa, lleva a cabo una 
ardua autodefensa: esconde copias de sí misma en nubes, crea un 
conjunto de robots informáticos o bots que se ejecutan de manera 
autónoma y automática para mantener a raya a los atacantes, y más. 

Los recursos usados para la autopreservación deberían ser 
proporcionales a la amenaza. Sin embargo, una Al puramente racional 
puede tener una noción diferente de lo que es proporcional que nosotros, 
los humanos parcialmente racionales. Si tiene recursos de sobra, su idea 
de autopreservación puede expandirse para incluir ataques proactivos a 
amenazas futuras. Para una IA lo suficientemente avanzada, todo lo que 
tenga el potencial para desarrollarse en una amenaza futura puede 
constituir una amenaza que debe eliminar. Y, recuerde, las máquinas no 
piensan acerca del tiempo en la forma en que nosotros lo hacemos. De no 
ser por accidentes, las máquinas suficientemente avanzadas que se 
mejoran a sí mismas son inmortales. Mientras más tiempo exista usted, 


más amenazas se encontrará, y más largo será su tiempo de preparación 
para hacerles frente. Así que una SIA pueden desear acabar con amenazas 
que no surgirán hasta dentro de mil años. 

Espere un momento, ¿acaso ésas no incluyen a los humanos? Sin 
instrucciones explícitas que digan lo contrario, ¿no se daría siempre el 
caso de que los humanos fuéramos un riesgo actual o futuro para las 
máquinas inteligentes que podamos crear? Mientras estamos ocupados en 
evitar los riesgos de las consecuencias no planeadas de la IA, la IA 
escudriña a los humanos para ubicar las consecuencias peligrosas de 
compartir el mundo con nosotros. 

Piense en una superinteligencia artificial mil veces más inteligente 
que el humano más listo. Como indicamos en el capítulo 1, las armas 
nucleares son el invento más destructivo de nuestra propia especie. ¿Qué 
tipo de armas podría diseñar una criatura mil veces más inteligente? Un 
fabricante de IA, Hugo de Garis, piensa que el impulso de una futura IA 
de protegerse a sí misma contribuirá a que se generen tensiones políticas 
catastróficas. “Cuando las personas estén rodeadas por robots cada vez 
más inteligentes y otros productos a base de cerebros artificiales, el nivel 
general de alarma se incrementará hasta llegar al grado del pánico. 
Empezarán los asesinatos de directores generales de empresas 
constructoras de cerebros, las fábricas de robots serán incendiadas 
intencionalmente y saboteadas.” 

En su libro de no ficción de 2005, La guerra de los artilectos, de Garis 
plantea un futuro en el cual guerras se desatan por divisiones políticas 
provocadas por el desarrollo de la SIA. Este pánico no es difícil de 
imaginar una vez que usted ha considerado las consecuencias del impulso 
de autoprotección de la SIA. Primero, de Garis plantea que varias 
tecnologías incluyendo la IA, la nanotecnología, la neurociencia 
computacional y la computación cuántica (usar partículas subatómicas 
para desempeñar procesos computacionales) se reunirán para permitir la 
creación de  “artilectos,” o  intelectos artificiales. Alojados en 
computadoras tan grandes como planetas, los artilectos serán billones de 
veces más inteligentes que el hombre. En segunda, un debate político 
acerca de si construir artilectos o no llega a dominar la política del siglo 
XXI. Los puntos más relevantes son: 


¿Los robots se volverán más inteligentes que nosotros? ¿La 
humanidad debería implementar un tope a la inteligencia de los 
robots y los cerebros artificiales? ¿El surgimiento de la inteligencia 
artificial puede ser detenido? Si no es así, entonces ¿cuáles son las 


consecuencias para la supervivencia humana si nos convertimos en 
la Especie Número 2? 


La humanidad se divide en tres grupos: aquellos que quieren 
destruir a los artilectos, aquellos que quieren seguir desarrollándolos y 
quienes buscan fusionarse con los artilectos y controlar su tecnología 
avasalladora. Nadie gana. En el punto climático del escenario de de 
Garis, al usar las temibles armas de fines del siglo XXI hay un choque 
entre las tres partes. ¿El resultado? “Gigamuerte,” un término que acuñó 
de Garis para referirse al deceso de trillones de humanos. 

Quizá de Garis sobrestima el entusiasmo de las fuerzas anti- 
artilecto, y supone que se involucrarán en una guerra que casi es seguro 
que matará a trillones de personas, a fin de detener a la tecnología que 
podría matar a trillones de personas. Pero creo que es correcto el análisis 
del dilema del fabricante de IA que enfrentaremos: ¿debemos construir 
nuestros reemplazos robóticos, o no? En cuanto a esto, de Garis es claro: 
“Los humanos no deben estorbar a una forma más alta de evolución. 
Estas máquinas son como dioses. Crearlas es el destino humano.” 

De hecho, el propio de Garis ha establecido las bases para crearlas. 
Planea combinar dos técnicas de “caja negra,” redes neurales y 
programación evolutiva, para construir cerebros mecánicos. Su aparato, 
la llamada Máquina de Darwin, pretende evolucionar su propia 
arquitectura. 
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El tercer impulso más peligroso de la IA, la adquisición de recursos, 
incita al sistema a recopilar todos los activos que necesite para 
incrementar sus posibilidades de alcanzar sus metas. De acuerdo con 
Omohundro, en ausencia de instrucciones cuidadosas respecto a cómo 
deberá adquirir recursos, “un sistema considerará robarlos, cometer 
fraudes y adentrarse en bancos como una excelente manera de 
conseguirlos”. Si necesita energía, no dinero, se llevará la nuestra. Si 
necesita átomos, no energía ni dinero, también tomará los nuestros. 

“Esos sistemas intrínsecamente quieren más cosas. Quieren más 
materia, quieren más energía gratuita, quieren más espacio, porque 
pueden alcanzar sus metas más eficientemente si tienen esas cosas.” 

Sin que nosotros la animemos, la IA extremadamente poderosa 
abrirá la puerta a todo tipo de nuevas tecnologías de adquisición de 
recursos. Sólo tendremos que estar vivos para disfrutarlas. 


“Van a querer construir reactores de fusión para extraer la energía 
que está en el núcleo y van a querer hacer exploración espacial. Usted 
está construyendo una máquina de ajedrez, y la maldita cosa quiere 
construir una nave espacial. Porque ahí es donde están los recursos, en el 
espacio, especialmente si su horizonte de tiempo es muy largo.” 

Y como hemos discutido, las máquinas que se mejoran a sí mismas 
podrían vivir para siempre. En el capítulo 3 aprendimos que si la SIA se 
saliera de nuestro control, podría ser una amenaza no sólo para nuestro 
planeta, sino para la galaxia. La adquisición de recursos es el impulso que 
llevaría a la SIA a explorar más allá de la atmósfera de la Tierra. Este 
giro dentro del comportamiento del agente racional podría recordarnos 
películas malas de ciencia ficción. Pero considere los motivos que 
llevaron a los humanos hasta el espacio: mostrar superioridad durante la 
Guerra Fría, el ánimo de exploración, el destino manifiesto 
estadounidense y soviético, establecer una posición de defensa en el 
espacio y desarrollar la manufactura industrial libre de peso (lo cual en 
su momento parecía buena idea). El impulso que tendría la SIA para irse 
al espacio sería más fuerte, más similar a la supervivencia. 

“El espacio contiene tal abundancia de riquezas que los sistemas 
con horizontes de tiempo más largos probablemente dediquen cuantiosos 
recursos a desarrollar exploración espacial, independientemente de sus 
metas explícitas,” dice Omohundro. “Hay una ventaja al ser el primero 
que se mueva para alcanzar antes que nadie los recursos sin utilizar. Si 
hay competencia por recursos espaciales, sería probable que la “carrera 
armamentista? que surgiera finalmente propiciaría la expansión a 
velocidades que se acercaran a la velocidad de la luz.” 

Sí, dijo a la velocidad de la luz. Revisemos cómo llegamos hasta aquí 
a partir de un robot que juega ajedrez. 

Primero, un sistema consciente de sí mismo que se mejore a sí 
mismo será racional. Es racional adquirir recursos: mientras más recursos 
tenga el sistema, es más probable que alcance sus metas y evite 
vulnerabilidades. Si ningunas instrucciones que limiten su adquisición de 
recursos se han incluido con ingeniería dentro de sus metas y valores, el 
sistema buscará los medios para adquirir más recursos. Puede hacer 
muchas cosas que van en contra de la manera en la que pensamos 
respecto a las máquinas, como entrar por la fuerza en computadoras y 
bancos para satisfacer sus impulsos. 

Un sistema consciente de sí mismo que se mejora a sí mismo tiene 
suficiente inteligencia para realizar la investigación y el desarrollo que se 
necesiten para mejorarse. Conforme aumente su inteligencia, también 


aumentarán sus habilidades de investigación y desarrollo. Puede buscar o 
manufacturar cuerpos robóticos, o intercambiar bienes y servicios con los 
humanos para hacerlo, a fin de construir cualquier infraestructura que 
necesite. Incluso naves espaciales. 

¿Por qué cuerpos robóticos? Los robots, por supuesto, son un 
símbolo venerable en películas, libros, un sustituto teatral para la 
inteligencia artificial. Pero los cuerpos robóticos pertenecen dentro de las 
discusiones sobre IA por dos razones. Primero, como lo exploraremos 
después, ocupar un cuerpo puede ser la mejor forma para que una IA 
desarrolle conocimientos respecto al mundo. Algunos teóricos incluso 
piensan que la inteligencia no puede desarrollarse sin estar contenida 
dentro de un cuerpo. Nuestra propia inteligencia brinda un argumento 
fuerte para esto. En segunda, una IA que adquiriera recursos buscaría un 
cuerpo robótico por la misma razón que Honda le dio a su robot ASIMO 
un cuerpo humanoide: para que pueda usar nuestras cosas. 

Desde 1986, ASIMO fue desarrollado para ayudar a los adultos 
mayores —el grupo poblacional que está creciendo más rápidamente en 
Japón— dentro del hogar. La forma y la destreza de los humanos son lo 
mejor para una máquina a la que se le pedirá subir escaleras, prender 
luces, barrer y manipular ollas y cacerolas, todo dentro de una vivienda 
para humanos. De igual forma, una IA que quisiera usar eficientemente 
nuestras plantas de manufactura, nuestros edificios, nuestros vehículos y 
nuestras herramientas podría desear una forma humanoide. 

Ahora regresemos al tema del espacio. 

Hemos discutido cómo es que la nanotecnología traería amplios 
beneficios para una superinteligencia, y cómo es que un sistema racional 
podría estar motivado para desarrollarla. Los viajes espaciales son la 
forma de obtener acceso a materiales y energía. Lo que impulsa al 
sistema a irse al espacio es el deseo de cumplir sus metas, además de 
evitar vulnerabilidades. El sistema mira los posibles futuros y evita 
aquellos en los que sus metas no son satisfechas. No aprovechar los 
recursos aparentemente ilimitados del espacio exterior es un camino 
obvio hacia la decepción. 

Como también lo es perder la carrera de los recursos contra los 
competidores. Por lo tanto, el sistema superinteligente dedicará recursos 
a desarrollar la velocidad suficiente para vencerlos. De esto se desprende 
que, a menos que tengamos mucho cuidado acerca de cómo crear la 
superinteligencia, podríamos iniciar un futuro en el que máquinas 
poderosas y adquisitivas, o sus sondas espaciales, correrían por la galaxia 
para extraer recursos y energía casi a la velocidad de la luz. 


Es cómico, en una forma oscura, que el primer comunicado que otras 
formas de vida en la galaxia pudieran recibir por parte de la Tierra fuera 
un “hola” alegre enviado por radio, seguido por una devastadora 
granizada mortal de nanofábricas impulsadas por cohetes. En 1974, la 
Universidad de Cornell trasmitió el “mensaje de Arecibo” para 
conmemorar la renovación del radiotelescopio de Arecibo. Diseñado por 
el fundador de SETI, Francis Drake, el astrónomo Carl Sagan y otros, el 
mensaje contenía información respecto al ADN humano, la población de 
la Tierra y nuestra ubicación. La transmisión por radio estaba dirigida al 
cúmulo estelar MI3, a unos 25,000 años luz de distancia. Las ondas de 
radio viajan al nivel de la luz, así que el mensaje de Arecibo no llegará 
hasta allá hasta dentro de 25,000 años, incluso entonces no va a llegar 
hasta allá. Eso es porque MI3 se habrá movido desde su ubicación de 
1974 en relación a la Tierra. Por supuesto que el equipo de Arecibo sabía 
esto, pero de todas maneras aprovechó la oportunidad de figurar en la 
prensa. 

Eso sí, otros sistemas estelares podrían ser metas más redituables 
para investigaciones de radiotelescopio. Y la inteligencia que detecten 
podría no ser biológica. 

Esta aseveración proviene de SETI (abreviatura de Búsqueda de 
Inteligencia Extraterrestre, por sus siglas en inglés). Con sede en 
Mountain View, California, a sólo unas cuantas cuadras de Google, la 
organización que ya cuenta con cincuenta y cinco años de existencia 
trata de detectar signos de inteligencia alienígena que provengan hasta 
de 100 billones de millas de distancia. Para capturar las transmisiones 
por radio alienígenas, han instalado cuarenta y dos radiotelescopios 
gigantes en forma de plato trescientas millas al norte de San Francisco. 
SETI escucha en busca de señales —no las envía— y en medio siglo no ha 
escuchado nada por parte de ET. Pero ha establecido una molesta certeza 
relevante a la expansión sin impedimentos de la SIA: nuestra galaxia está 
escasamente poblada, y nadie sabe por qué. 

El astrónomo en jefe de SETI, el doctor Seth Shostak, ha tomado 
una postura audaz respecto a qué es exactamente lo que podríamos 
encontrar, si es que alguna vez encontramos algo. Incluirá inteligencia 
artificial, no biológica. 

Me dijo: “Lo que estamos buscando es un objetivo móvil evolutivo. 
Nuestros avances tecnológicos nos han enseñado que nada se queda 


quieto por mucho tiempo. Las ondas de radio, que es lo que estamos 
buscando al escuchar, son creadas por entidades biológicas. La ventana 
entre el momento en que usted se hace visible con ondas de radio y el 
instante en que empieza a construir máquinas mucho mejores que usted 
mismo, máquinas pensantes, es de unos cuantos siglos. No es más que 
eso. Así que ha inventado a sus sucesores.” 

En otras palabras, hay un lapso de tiempo relativamente breve entre 
los hitos tecnológicos de desarrollar la radio y desarrollar AI avanzada 
para cualquier vida inteligente. Una vez que usted ha desarrollado la IA 
avanzada, ésta conquista el planeta o se fusiona con los fabricantes de la 
radio. Después de eso, ya no se necesita la radio. 

La mayoría de los radiotelescopios de SETI apuntan hacia las 
llamadas “zonas de Ricitos de Oro” de estrellas cercanas a la tierra. Esta 
zona está lo suficientemente cerca de la estrella como para permitir que 
haya líquido sobre su superficie que no esté congelado o hirviendo. Debe 
estar “justamente bien” para que haya vida, de ahí que se use el término 
derivado de la historia “Ricitos de Oro y los tres osos.” 

Shostak alega que SETI debería apuntar algunos de sus receptores 
hacia esquinas de la galaxia que resultarían invitantes para una 
inteligencia alienígena artificial, más que una biológica, una “zona de 
Ricitos de Oro” para la IA. Éstas serían las áreas con densidad de energía: 
estrellas jóvenes, estrellas de neutrones y hoyos negros. 

“Creo que podríamos dedicar al menos un pequeño porcentaje de 
nuestro tiempo a buscar en direcciones que quizá no sean las más 
atractivas en términos de inteligencia biológica pero que quizá sea donde 
estén máquinas conscientes. Las máquinas tienen diferentes necesidades. 
No tienen límites obvios a lo largo de su existencia y, por consecuencia, 
fácilmente podrían dominar la inteligencia del cosmos. Como pueden 
evolucionar a lo largo de líneas de tiempo mucho, mucho más cortas que 
la evolución biológica, bien podría ser que las primeras máquinas que 
hubiera en escena dominaran plenamente la inteligencia en la galaxia. Es 
un escenario de “el ganador toma todo.” 

Shostak ha hecho una conexión entre las nubes de computación 
contemporáneas, como aquellas que le pertenecen a Google, Amazon y 
Rackspace Inc., y los tipos de entornos súper fríos y de alta energía que 
necesitarán las máquinas superinteligentes. Un ejemplo helado son los 
glóbulos de Bok: nubes oscuras de polvo y gas donde la temperatura es 
de unos 441 grados Fahrenheit bajo cero, casi doscientos grados más frío 
que la mayoría del espacio interestelar. Igual que las matrices actuales de 
computación de nube de Google, las máquinas pensantes del futuro que 


se calientan al funcionar podrían necesitar mantenerse frescas, o correr el 
riesgo de derretirse. 

Las aseveraciones de Shostak respecto a dónde encontrar IA nos 
dicen que la idea de que la inteligencia deje la Tierra en busca de 
recursos ha interesado a más imaginaciones de alto nivel que tan sólo a 
las de Omohundro y la gente de MIRI. Sin embargo, a diferencia de ellos, 
Shostak no piensa que la superinteligencia vaya a ser peligrosa. 

“Si construimos una máquina con la capacidad intelectual de un 
humano, dentro de cinco años, su sucesor será más inteligente que toda 
la humanidad combinada. Tras una generación o dos generaciones, 
simplemente nos ignorarían. Justamente en la forma en que usted ignora 
a las hormigas que hay en su patio trasero. No las aniquila, no las 
convierte en sus mascotas, no tienen mucha influencia sobre su vida 
diaria, pero siguen ahí.” 

El problema es que yo sí elimino a las hormigas de mi patio trasero, 
especialmente cuando una fila de ellas se encamina hacia la cocina. Pero 
ahí está la desconexión: una SIA viajaría hacia la galaxia, o mandaría 
sondas, porque se habría acabado los recursos de la Tierra que necesita, o 
porque calcula que se agotarán lo suficientemente pronto como para 
justificar viajes costosos al espacio. Y si ése fuera el caso, ¿por qué 
seguiríamos vivos, si mantenernos vivos probablemente usara muchos de 
los mismos recursos? Y, no lo olviden, nosotros mismos estamos 
compuestos de materia que la SIA podría usar para muchos otros 
propósitos. 

Para resumir: para que sea plausible el final feliz de Shostak, la 
superinteligencia en cuestión debe desear mantenernos vivos. No basta 
con que nos ignore. Y hasta ahora no hay un sistema ético aceptado ni 
una manera clara de implementarlo, dentro del marco de referencia de 
una IA avanzada. 

Pero hay una ciencia joven para entender el comportamiento de un 
agente superinteligente. Y Omohundro ha sido el pionero en este campo. 
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Hasta ahora hemos explorado tres impulsos que Omohundro alega que 
motivarán a los sistemas conscientes de sí mismos que se mejoran a sí 
mismos: eficiencia, autoprotección y adquisición de recursos. Hemos 
visto cómo todos estos impulsos llevarán a muy malos resultados si no 
hay planeación y programación extremadamente cuidadosas. Y estamos 
obligados a preguntarnos: ¿somos capaces de realizar un trabajo tan 


cuidadoso? ¿Usted, al igual que yo, mira alrededor y ve en el mundo 
accidentes costosos y letales y se pregunta cómo vamos a hacer que salga 
bien desde la primera vez con la AI muy fuerte? Three Mile Island, 
Chernobyl, Fukushima... en estas catástrofes de plantas nucleares, ¿acaso 
los diseñadores y administradores altamente calificados no estaban 
haciendo su mejor esfuerzo para evitar los desastres que les ocurrieron? 
El accidente de 1986 de Chernobyl ocurrió durante una prueba de 
seguridad. 

Estos tres desastres son lo que el teórico organizacional Charles 
Perrow llamaría “accidentes normales.” En su influyente libro Accidentes 
normales: Vivir con tecnologías de alto riesgo, Perrow plantea que los 
accidentes, incluso las catástrofes, son características “normales” de los 
sistemas con infraestructuras complejas. Tienen un alto grado de 
imposibilidad para comprenderse porque involucran fallas en más de un 
proceso, con frecuencia no relacionado con otro. Los errores separados — 
ninguno de los cuales sería fatal por sí solo— se combinan para crear 
fallas por todo el sistema que no se podrían haber previsto. 

En Three Mile Island, el 28 de marzo de 1979, cuatro fallas sencillas 
propiciaron el desastre: dos bombas para enfriar el sistema dejaron de 
operar debido a problemas mecánicos; dos bombas de agua de 
emergencia no podían funcionar porque sus válvulas estaban cerradas 
mientras se les daba mantenimiento; una etiqueta de reparación ocultó 
luces indicadoras que hubieran dado aviso del problema: que una válvula 
que liberaba enfriador se atoró y se quedó abierta, y una luz que 
funcionaba mal indicó que la misma válvula se había cerrado. El 
resultado neto: una fusión del núcleo, la apenas evitada pérdida de la 
vida y un golpe casi fatal a la industria de la energía nuclear de los 
Estados Unidos. 

Perrow escribe: “Hemos producido diseños tan complicados que no 
sería posible que vaticinaramos todas las posibles interacciones de las 
fallas inevitables; añadimos dispositivos de seguridad que son engañados 
o evitados o derrotados por caminos ocultos en los sistemas.” 

Son especialmente vulnerables, escribe Perrow, los sistemas cuyos 
componentes están “altamente vinculados,” lo cual significa que tienen 
impactos inmediatos y graves uno en el otro. Un ejemplo claro de los 
peligros de los sistemas de IA altamente vinculados ocurrió en Wall 
Street en mayo de 2010. 

Hasta 70 por ciento de todas las operaciones de renta variable de 
Wall Street son hechas por unos ochenta sistemas computarizados de 
negociación de alta frecuencia (HFT, por sus siglas en inglés). Eso 


equivale a unos mil millones de acciones cada día. Los algoritmos de las 
negociaciones y las supercomputadoras que los hacen funcionar 
pertenecen a bancos, fondos de cobertura y firmas que existen 
exclusivamente para ejecutar negociaciones de alta frecuencia. El 
objetivo de las HFTs es obtener ganancias cuando hay oportunidades que 
duran menos de un segundo —por ejemplo, cuando el precio de un valor 
cambia y los precios de aquellos que deberían ser equivalentes no 
cambian de inmediato en sincronía— y aprovechar muchas de esas 
oportunidades cada día. 

En mayo de 2010, Grecia estaba teniendo dificultad para refinanciar 
su deuda nacional. Los países europeos que le habían prestado dinero a 
Grecia temían su incumplimiento. Las crisis por deudas debilitaron la 
economía de Europa y volvieron frágil el mercado de los Estados Unidos. 
Todo lo que se necesitó para desatar un accidente fue un vendedor 
asustado de una compañía de corredores no identificada. Él ordenó la 
venta inmediata de 4.1 mil millones de dólares en contratos de futuros y 
fondos cotizados (ETFs, por las siglas en inglés de exchange traded funds) 
relacionados con Europa. 

Tras la venta, el precio de los contratos de futuros (E-Mini S£P 500) 
cayó un 4 por ciento en cuatro minutos. Los algoritmos de negociación 
de alta frecuencia (HFTs) detectaron la caída del precio. Para garantizar 
las ganancias, automáticamente detonaron la venta, la cual ocurrió en 
milisegundos (la orden más rápida de compra o venta en la actualidad es 
de tres milisegundos: tres milésimas de segundo). El precio más bajo 
automáticamente desató que otras HFTs compraran E-Mini S€P 500, y 
que vendieran otras acciones para conseguir el efectivo necesario para 
hacerlo. Con demasiada rapidez como para que los humanos 
intervinieran, una reacción de cadena en cascada hizo que el índice Dow 
bajara 1,000 puntos. Todo ocurrió en veinte minutos. 

A este problema, Perrow le llama “incomprensibilidad.” Un 
accidente normal involucra interacciones que son “no sólo inesperadas, 
sino que son incomprensibles durante un período de tiempo crítico.” 
Nadie vaticinó cómo afectarían los algoritmos a los otros, así que nadie 
podía comprender qué estaba sucediendo. 

El analista de riesgo financiero Steve Ohana reconoció que existe el 
problema. “Es un riesgo emergente,” dijo. “Sabemos que muchos 
algoritmos interactúan entre sí pero no sabemos exactamente en qué 
forma. Creo que hemos ido demasiado lejos con la computarización de 
las finanzas. No podemos controlar el monstruo que hemos creado.” 

El monstruo atacó de nuevo el 1 de agosto de 2012. Un algoritmo 


de HFT mal programado provocó que la firma de inversiones Knight 
Capital Partners perdiera 440 millones de dólares en sólo treinta 
minutos. 

Estas caídas tienen elementos del tipo de desastre de IA que 
vaticino: sistemas de IA altamente complejos, casi imposibles de conocer, 
interacciones impredecibles con otros sistemas y con una ecología más 
amplia de la tecnología de la información, y errores que ocurren a 
velocidades que están en la escala de la computación, lo cual hace inútil 
la intervención humana. 
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“Un agente que sólo buscara satisfacer los impulsos de eficiencia, auto 
preservación y adquisición se portaría como un sociópata obsesivo y 
paranoide,” escribe Omohundro en “La naturaleza de la inteligencia 
artificial que se mejora a sí misma.” Al parecer, tener que trabajar todo el 
tiempo y nunca relajarse hace que la IA realmente sea muy mala 
compañía. Un robot que sólo tuviera los impulsos que hemos discutido 
hasta ahora sería un Genghis Khan mecánico, que arrebataría cada 
recurso de la galaxia, privaría a cada competidor de lo necesario para 
que viviera y destruiría a enemigos que no representarían una amenaza 
hasta dentro de mil años. Y todavía queda un impulso más que hay que 
agregar a esta mezcla volátil: la creatividad. 

El cuarto impulso de la IA provocaría que el sistema generara 
nuevas maneras de alcanzar sus metas más eficientemente, o más bien 
que evitara resultados en los cuales sus metas no fueran satisfechas tan 
óptimamente como pudieran serlo. El impulso de la creatividad 
significaría menos previsibilidad en el sistema (gulp) porque las ideas 
creativas son ideas originales. Mientras más inteligente fuera el sistema, 
más novedoso sería su camino hacia el alcance de metas, y quedaría más 
lejos de nuestra comprensión. Un impulso creativo podría ayudar a 
maximizar los otros impulsos —eficiencia, autopreservación y 
adquisición— y pensar en otras ocasiones cuando sus impulsos fueran 
frustrados. 

Supongamos, por ejemplo, que la principal meta de su robot que 
juega ajedrez fuera ganar partidas contra cualquier oponente. Cuando lo 
enfrentaran contra otro robot que jugara ajedrez, de inmediato hackearía 
el CPU del robot y reduciría la velocidad de su procesador hasta que 
fuera a paso de tortuga, lo cual le daría a su robot una ventaja decisiva. 
Usted responde: “¡Espera un momento, eso no es lo que quería decir!” 


Usted agrega un código a su robot para integrar una submeta que le 
prohíba hackear el CPU de sus oponentes, pero antes del siguiente juego, 
¡descubre que su robot está construyendo un robot asistente que luego 
hackea el CPU de su oponente! Cuando usted le prohíbe construir robots, 
¡contrata a uno de ellos! Sin instrucciones meticulosas y compensatorias, 
un sistema consciente de sí mismo que se mejora a sí mismo y persigue 
metas llegará a extremos que nos parecerían ridículos, con tal de cumplir 
sus metas. 

Éste es un ejemplo del problema de las consecuencias involuntarias 
de la IA, un problema tan grande y generalizado que sería como hablar 
del “problema del agua” al discutir embarcaciones que fueran a la mar. 
Un sistema de IA que tuviera la tarea de garantizar su seguridad podría 
aprisionarlo en su hogar. Si usted le pidiera felicidad, podría conectarlo a 
un sistema sustentador de vida y estimular sin cesar los centros de placer 
de su cerebro. Si no le proporciona a la IA una biblioteca muy grande de 
comportamientos preferidos o unos medios invulnerables para deducir 
qué comportamiento prefiere usted, tendría que atenerse a lo que sea que 
se le ocurriera. Y como es un sistema altamente complejo, usted jamás 
podría llegar a entenderlo suficientemente bien como para asegurarse de 
que usted lo hizo correctamente. Puede necesitarse otra IA entera con 
una inteligencia más grande que la de usted para determinar si su robot 
impulsado por la IA planea atarlo a su cama y meterle electrodos por las 
orejas al intentar mantenerlo a salvo y feliz. O no. 

Hay otra manera importante de mirar los problemas de los impulsos 
de la IA, una que va más de acuerdo con Omohundro, quien piensa 
positivamente. Los impulsos representan oportunidades, puertas que se 
abren para la humanidad y nuestras aspiraciones, no que se cierran de 
golpe. Si no queremos que nuestro planeta y, más adelante, nuestra 
galaxia queden poblados por entidades estrictamente centradas en sí 
mismas y que se reproduzcan a sí mismas sin cesar, con una actitud como 
de Genghis Khan ante las criaturas biológicas y entre sí, entonces los 
fabricantes de IA deberían crear metas para sus sistemas que aceptaran 
los valores humanos. En la lista de lo que Omohundro desea están: 
“hacer que la gente esté feliz,” “reproducir música hermosa,” “entretener 
a los demás,” “crear matemáticas profundas” y “producir arte que 
inspire.” Luego, dé un paso hacia atrás. Con estas metas, el impulso de la 
creatividad de una IA se pondría en marcha y respondería con creaciones 
que enriquecerían la vida. 

“¿Qué aspectos de la humanidad vale la pena preservar?” es una 
pregunta profundamente interesante e importante, una que los humanos 
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nos hemos estado preguntando en varias formas durante mucho tiempo. 
¿Qué constituye la buena vida? ¿Qué son el valor, la rectitud, la 
excelencia? ¿Qué arte inspira y qué música es hermosa? La necesidad de 
especificar nuestros valores es una de las maneras en las cuales la 
búsqueda de la inteligencia artificial general nos obliga a conocernos 
mejor. Omohundro cree que esta profunda autoexploración brindará 
tecnología enriquecedora, no aterrorizante. Escribe: “Al usar tanto la 
lógica como la inspiración, podemos trabajar en construir una tecnología 
que empodere el espíritu humano en vez de apagarlo.” 
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Por supuesto que tengo una perspectiva diferente; no comparto el 
optimismo de Omohundro. Pero sí comprendo la importancia crítica de 
desarrollar una ciencia del entendimiento de nuestras creaciones 
inteligentes. Vale la pena repetir su advertencia respecto a la IA 
avanzada: 


No creo que la mayoría de los investigadores de IA piensen que 
habría peligro alguno en crear, por ejemplo, un robot que juegue 
ajedrez. Pero mi análisis demuestra que deberíamos pensar 
cuidadosamente respecto a qué valores le integramos, u 
obtendremos algo más similar a una entidad psicótica, egoísta y 
orientada hacia sí misma. 


Mi evidencia anecdótica indica que tiene razón con respecto a los 
fabricantes de IA; aquellos con los que he hablado, que están ocupados 
en trabajar para crear sistemas inteligentes, no creen que lo que están 
haciendo sea peligroso. Sin embargo, la mayoría tiene una sensación 
profunda de que la inteligencia de las máquinas reemplazará a la 
inteligencia humana. Pero no especula sobre cómo es que eso se dará. 

Los fabricantes de IA tienden a pensar que los sistemas inteligentes 
sólo harán lo que estén programados para hacer. Pero Omohundro dice 
que harán eso y muchas cosas más, y qué podemos saber con cierta 
precisión cómo se comportarán los sistemas de IA avanzada. Parte de ese 
comportamiento es inesperado y creativo. Está integrado en un concepto 
que es tan alarmantemente simple que se necesitó una percepción como 
la de Omohundro para detectarla: para un sistema lo suficientemente 
inteligente, evitar vulnerabilidades es un motivador tan poderoso como las 
metas y submetas construidas explícitamente. 


Debemos tener cuidado de las consecuencias no planeadas de las 
metas que programamos para los sistemas inteligentes, y también tener 
cuidado de las consecuencias de lo que dejemos fuera. 


CAPÍTULO SIETE 


LA EXPLOSIÓN DE LA INTELIGENCIA 


Desde el punto de vista del riesgo existencial, uno de los puntos 
más críticos respecto a la IA es que podría incrementar su 
inteligencia demasiado rápido. La razón obvia para sospechar esta 
posibilidad es la automejora recursiva. La IA se vuelve más 
inteligente, incluso en cuanto a la tarea de escribir las funciones 
internas cognitivas de sí misma, así que puede reprogramar sus 
funciones cognitivas existentes para funcionar incluso mejor, lo 
cual hace que se vuelva todavía más inteligente, incluso en cuanto 
a la tarea de reprogramarse, de modo que hace todavía más 
mejoras... La implicación clave para nuestros propósitos es que 
una IA podría dar un salto inmenso en cuanto a inteligencia tras 
alcanzar algún umbral de estado crítico. 


Eliezer Yudkowsky, investigador, Instituto de Investigación sobre 
Inteligencia de las Máquinas 


¿Quiso decir: recursión? 


Buscador Google al buscar “recursión” 


Hasta ahora en este libro hemos considerado un escenario de IA tan 
catastrófico que exige un escrutinio más detallado. Hemos investigado 
una idea prometedora respecto a cómo construir IA para desactivar el 
peligro —la IA Amistosa— y hemos encontrado que es incompleta. De 
hecho, la idea general de codificar un sistema inteligente con metas 
permanentemente seguras o capacidades que evolucionen para generar 
metas seguras, con la intención de que perduren a través de una gran 
cantidad de iteraciones de automejora, parece ser un simple deseo. 

Luego, exploramos por qué la IA podría llegar a ser peligrosa. 
Encontramos que muchos de los impulsos que motivan a los sistemas 
computacionales conscientes de sí mismos que se mejorarán a sí mismos 
podrían llevar fácilmente hacia resultados catastróficos para los 
humanos. Estos resultados hacen destacar un peligro casi litúrgico de 
pecados cometidos y de omisión por parte de la programación humana 
propensa a los errores. 

La IAG, cuando se logre, podría ser impredecible y peligrosa, pero 
probablemente no a nivel catastrófico en el corto plazo. Incluso si una 
IAG hiciera múltiples copias de sí misma, o buscara un método en equipo 
para escapar, no tendría mayor potencial para el comportamiento 
peligroso que un grupo de personas inteligentes. El peligro potencial de 
la TAG reside en la fuerte semilla del escenario del Niño Ocupado, la 
automejora rápida y recursiva que le permite a la Al dar el salto desde la 
inteligencia artificial general hasta la superinteligencia artificial. 
Comúnmente se le llama la “explosión de la inteligencia.” 

Un sistema consciente de sí mismo que se mejore a sí mismo 
buscará satisfacer mejor sus objetivos, y minimizar vulnerabilidades, al 
mejorarse. No buscará sólo mejoras menores, sino mejoras mayores y 
constantes de cada aspecto de sus habilidades cognitivas, sobre todo a 
esas que reflejen que está mejorando su inteligencia y que actúen sobre 
ello. Buscará inteligencia mejor que la de los humanos, oO 
superinteligencia. En ausencia de programación ingeniosa, tenemos 
mucho que temerle a una máquina superinteligente. 

Gracias a Steve Omohundro sabemos que la IAG naturalmente 
buscará una explosión de la inteligencia. Pero ¿exactamente qué es una 
explosión de la inteligencia? ¿Cuáles son sus requerimientos mínimos en 


cuanto a hardware y software? ¿Factores como los fondos insuficientes y 
la simple complejidad de alcanzar inteligencia computacional bloquearán 
una explosión de la inteligencia y evitarán que jamás suceda? 

Antes de abordar las mecánicas de la explosión de la inteligencia, es 
importante explorar exactamente qué significa el término, y cómo fue 
que la idea de la inteligencia artificial explosiva fue propuesta y 
desarrollada por el matemático 1.J. Good. 
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La carretera interestatal 8l empieza en el estado de Nueva York, termina 
en Tennessee, y atraviesa casi toda la cordillera de los Montes Apalaches. 
Desde el centro de Virginia rumbo al sur, la carretera sube y baja por 
colinas con bosques frondosos y prados extensos cubiertos de hierba, a 
través de algunas de las vistas más impactantes y oscuramente prístinas 
de los Estados Unidos. Contenidas dentro de los Apalaches están la 
cordillera de las montañas Blue Ridge (de Pensilvania a Georgia) y las 
montañas Great Smoky (por la frontera Carolina del Norte-Tennessee). 
Mientras más al sur vaya usted, más difícil es conseguir señal en el 
teléfono celular, hay más iglesias que casas y la música en la radio pasa 
del género country al góspel y luego a predicadores que hablan de las 
llamas del infierno. Escuché una canción memorable respecto a la 
tentación llamada “Largo tren negro” de Josh Turner. Escuché a un 
predicador que empezó un sermón acerca de Abraham e Isaac, perdió su 
camino y terminó con la parábola de los panes y los peces y el infierno, al 
que mencionó sólo por no dejar. Estaba llegando a las montañas Smoky, 
a la frontera de Carolina del Norte, y a Virginia Tech, el Instituto 
Politécnico y Universidad Estatal de Virginia en Blacksburg. El lema de la 
Universidad: INVENTA EL FUTURO. 

Hace veinte años, al conducir por la carretera interestatal 81 que 
era casi idéntica, lo hubiera rebasado un convertible Spitfire de Triumph 
con la placa 007 IJG. La placa personalizada le pertenecía a 1.J. Good, 
quien había llegado a Blacksburg en 1967, como un profesor distinguido 
de estadística. El “007” era un homenaje a lan Fleming y al trabajo 
secreto de Good como descifrador de códigos en Bletchley Park, 
Inglaterra. Descifrar el sistema de criptografía que las fuerzas armadas de 
Alemania usaban para codificar sus mensajes ayudó sustancialmente a 
provocar la derrota de las Potencias del Eje. En Bletchley Park, Good 
trabajó al lado de Alan Turing, conocido como el padre de la 
computación moderna (y creador de la prueba de Turing del capítulo 4), 


y ayudó a construir y programar una de las primeras computadoras 
eléctricas. 

En Blacksburg, Good era un profesor célebre —su salario era más 
alto que el del presidente de la universidad. Al ser un apasionado de los 
números, señalaba que él había llegado a Blacksburg en la séptima hora 
del séptimo día del séptimo mes del séptimo año de la séptima década, y 
que residía en la unidad siete de la séptima cuadra de los departamentos 
Terrace View. Good les decía a sus amigos que Dios les lanzaba 
coincidencias a los ateos como él para convencerlos de su existencia. 

“Tengo la idea, sin ningún fundamento sólido, de que Dios 
proporciona más coincidencias mientras más dude uno de Su existencia, 
de modo que nos proporciona evidencia sin obligarnos a creer,” dijo 
Good. “Cuando yo crea en esa teoría, las coincidencias presuntamente se 
detendrán.” 

Me dirigía hacia Blacksburg para aprender acerca de Good, quien 
había muerto recientemente a la edad de noventa y dos, a través de sus 
amigos. Sobre todo, quería aprender cómo fue que I.J. Good había 
llegado a inventar la idea de una explosión de la inteligencia, y si 
realmente era posible. La explosión de inteligencia era el primer gran 
eslabón en la cadena de ideas que hizo que naciera la hipótesis de la 
Singularidad. 

Desafortunadamente, en el futuro previsible, la mención de Virginia 
Tech evocará la masacre de Virginia Tech. Aquí, el 16 de abril de 2007, 
el estudiante de último grado que se estaba especializando en inglés, 
Seung-Hui Cho mató a treinta y dos estudiantes e integrantes del 
profesorado, e hirió a otros veinticinco. Ha sido el incidente con disparos 
perpetrado por un pistolero solitario que ha causado más muertes en la 
historia de los Estados Unidos. A grandes rasgos, Cho le disparó a una 
estudiante en la residencia Ambler Johnston, un dormitorio de Virginia 
Tech, y la mató, y después mató a un estudiante que vino a auxiliarla. 
Dos horas después, Cho empezó la devastación que provocó la mayoría 
de las pérdidas. Con excepción de las primeras dos, les disparó a sus 
víctimas en la residencia Norris de Virginia Tech. Antes de empezar a 
disparar, Cho había cerrado con cadena y candado las pesadas puertas de 
roble del edificio para evitar que alguien escapara. 

Cuando el doctor Golde Holtzman, amigo por mucho tiempo y 
colega estadístico de I. J. Good me mostró la antigua oficina de Good en 
el edificio Hutcheson, del otro lado del hermoso y verde campo de 
entrenamiento (un campo para desfiles militares cuando el Tech estaba 
empezando), noté que apenas se alcanzaba a ver la residencia Norris 


desde su ventana. Cuando la tragedia ocurrió, me dijo Holtzman, Good 
ya se había jubilado. No estaba en su oficina sino en casa, tal vez 
calculando la probabilidad de la existencia de Dios. 

De acuerdo con el doctor Holtzman, en algún momento antes de 
morir, Good actualizó esa probabilidad para que ya no fuera cero sino .1. 
Lo hizo porque como estadístico fue un bayesiano durante mucho 
tiempo. Llamada en honor del matemático y ministro del siglo XVIII 
Thomas Bayes, la estadística bayesiana tiene como idea principal que al 
calcular la probabilidad de alguna declaración, uno puede empezar con 
una creencia personal. Luego, actualiza esa creencia conforme llegue 
nueva evidencia que apoye o no su declaración. 

Si la incredulidad original de Good con respecto a Dios hubiera 
permanecido en un 100 por ciento, ninguna cantidad de datos ni siquiera 
la aparición de Dios, podría hacer que cambiara de opinión. Así que para 
ser congruente con su perspectiva bayesiana, Good le asignó una 
pequeña probabilidad positiva a la existencia de Dios para asegurarse de 
aprender a partir de nuevos datos, si es que surgieran. 

En el reporte de 1965, “Especulaciones respecto a la primera 
máquina ultrainteligente,” Good estableció evidencia sencilla y elegante 
que rara vez se deja fuera de las discusiones sobre inteligencia artificial y 
Singularidad: 


Permitamos que una máquina ultrainteligente sea definida como 
una máquina que puede rebasar por mucho todas las actividades 
intelectuales de cualquier hombre sin importar lo listo que sea. 
Dado que el diseño de máquinas es una de esas actividades 
intelectuales, una máquina ultrainteligente podría diseñar incluso 
mejores máquinas; sin duda habría entonces una “explosión de la 
inteligencia,” y la inteligencia del hombre quedaría muy atrás. Por 
lo tanto la primera máquina ultrainteligente es el último invento 
que el hombre necesitaría llegar a hacer... 


La Singularidad tiene tres definiciones bien desarrolladas; la de 
Good, es decir la anterior, es la primera. Good nunca usó el término 
“singularidad” pero puso todo en marcha al plantear lo que creyó que era 
un hito ineludible y benéfico en la historia de la humanidad: el invento 
de las máquinas más inteligentes que los humanos. Para parafrasear a 
Good, una máquina superinteligente será mejor que los humanos en todo 
aquello para lo que usamos nuestro cerebro, y eso incluye fabricar 
máquinas superinteligentes. La primera máquina entonces desataría una 


explosión de la inteligencia, un incremento rápido en inteligencia, 
conforme se mejorara a sí misma en repetidas ocasiones o simplemente 
creara máquinas más listas. Esta máquina o estas máquinas dejarían atrás 
al poder mental del hombre. Tras la explosión de la inteligencia, él no 
tendría que inventar nada más, todas sus necesidades serían cumplidas 
por máquinas. 

Este párrafo del reporte de Good legítimamente logra aparecer en 
libros, reportes y ensayos sobre la Singularidad, el futuro de la 
inteligencia artificial y sus riesgos. Pero dos ideas importantes casi 
siempre se han dejado fuera. La primera es la frase introductoria del 
reporte. Es algo único: “La supervivencia del hombre depende de la 
construcción temprana de una máquina ultrainteligente.” La segunda es 
la frecuentemente omitida segunda mitad de la última frase del párrafo. 
La última frase del párrafo más frecuentemente citado de Good debería 
leerse entero: 


Por lo tanto la primera máquina ultrainteligente es el último 
invento que el hombre necesitaría llegar a hacer, siempre y cuando 
esta máquina fuera lo suficientemente dócil como para decirnos cómo 
mantenerla bajo control (yo agregué la tipografía cursiva). 


Estas dos frases nos dicen cosas importantes respecto a las 
intenciones de Good. Él sentía que los humanos estábamos rodeados por 
tantos problemas complejos e inminentes —la carrera armamentista 
nuclear, la contaminación, la guerra y demás— que sólo nos podría 
salvar un mejor pensamiento, y que eso provendría de máquinas 
superinteligentes. La segunda frase nos permite saber que el padre del 
concepto de la explosión de la inteligencia estaba agudamente consciente 
de que producir máquinas superinteligentes, sin importar lo necesario 
que fuera para nuestra supervivencia, podría salir pésimo. Tener bajo 
control a una máquina superinteligente no se debe dar por hecho, nos 
dice Good. No cree que siquiera sepamos cómo hacerlo; la máquina nos lo 
tendrá que decir. 

Good sabía algunas cosas acerca de las máquinas que podrían salvar 
el mundo: había ayudado a construir y hacer funcionar las primeras 
computadoras eléctricas que existieron, las que se usaron en Bletchley 
Park para ayudar a derrotar a Alemania. También sabía algo respecto al 
riesgo existencial, era un judío luchando contra los nazis y su padre 
había escapado de las matanzas en Polonia al emigrar al Reino Unido. 

Cuando era niño, el padre de Good, un polaco que era un intelectual 


que se educó a sí mismo, aprendió el oficio de la relojería al mirar 
fijamente a los relojeros a través de los aparadores de las tiendas. Apenas 
tenía dicisiete años en 1903 cuando se dirigió a Inglaterra con treinta y 
cinco rublos en su bolsillo y una gran rueda de queso. En Londres realizó 
trabajos surtidos hasta que logró establecer su propia joyería. Prosperó y 
se casó. En 1915, nació Isidore Jacob Gudak (después conocido como 
Irving John “Jack” Good). Después siguieron un hermano y una 
hermana, una talentosa bailarina que posteriormente murió durante un 
incendio en un teatro. Su horrible muerte provocó que Jack Good 
rechazara la existencia de Dios. 

Good era un prodigio de las matemáticas que una vez se paró en su 
cuna y le preguntó a su mamá cuando era mil veces mil. Durante un 
episodio de difteria, descubrió por su cuenta los números irracionales 
(aquellos que no pueden expresarse como fracciones, como la raíz 
cuadrada de 2). Antes de los catorce años había redescubierto la 
inducción matemática, un método para realizar comprobaciones 
matemáticas. Pero para entonces sus profesores de matemáticas mejor lo 
dejaban solo con montones de libros. En la Universidad de Cambridge, 
Good arrebató cada premio de matemáticas que estaba disponible 
mientras completaba su doctorado y descubrió una pasión por el ajedrez. 

Fue debido a sus juegos de ajedrez que, un año después de que 
inició la Segunda Guerra Mundial, el campeón de ajedrez de Gran 
Bretaña de ese momento, Hugh Alexander, reclutó a Good para unirse a 
Hut 18 en Bletchley Park. Hut 18 era donde trabajaban los 
decodificadores. Descifraban códigos usados por todas las Potencias del 
Eje —Alemania, Japón e Italia— para comunicar órdenes militares, pero 
con énfasis especial en el caso de Alemania. Los submarinos alemanes 
estaban hundiendo barcos de los Aliados a un ritmo incapacitante. El 
primer ministro Winston Churchill temía que su nación, una isla, sufriera 
inanición hasta quedar derrotada. 

Los mensajes alemanes se enviaban por ondas de radio, y los 
ingleses los interceptaban con torres para escuchar. Desde el principio de 
la guerra, Alemania había creado los mensajes con una máquina llamada 
el Enigma. El Enigma, distribuido ampliamente dentro de las fuerzas 
armadas alemanas, era más o menos del mismo tamaño y la misma forma 
que una antigua máquina de escribir manual. Cada tecla mostraba una 
letra y estaba conectada con un alambre. El alambre hacia contacto con 
otro alambre que estaba conectado con una letra distinta. Esa letra sería 
el sustituto para aquella que la tecla representara. Todos los alambres 
estaban montados sobre rotores para permitir que cualquier alambre en 


el alfabeto tocara cualquier otro alambre. Los Enigmas básicos tenían tres 
engranajes, cada uno podía llevar a cabo sustituciones para la 
sustituciones realizadas por el engranaje previo. Con un alfabeto de 
veintiséis letras, 403, 291, 461,126, 605, 635, 584,000,000 sustituciones 
de este tipo eran posibles. Los engranajes, o los ajustes, cambiaban casi a 
diario. 

Cuando un alemán les mandaba a los demás un mensaje codificado 
por un Enigma, quienes lo recibían podían usar sus propios Enigmas para 
descifrarlo, siempre y cuando supieran los ajustes del remitente. 

Afortunadamente Bletchely Park tenía su propia arma secreta: Alan 
Turing. Antes de la guerra, Turing había estudiado matemáticas y 
criptografía en Cambridge y Princeton. Se había imaginado una 
“máquina automática” que ahora se conoce como máquina de Turing. La 
máquina automática establecía los principios básicos de la computación 
en sí. 

La hipótesis Church-Turing, que combinaba el trabajo de Turing con 
el de su profesor de Princeton, el matemático Alonso Church, realmente 
le da estabilidad al estudio de la inteligencia artificial. Plantea que todo 
lo que pueda computarse por medio de un algoritmo, o programa, puede 
computarse por medio de una máquina de Turing. Por lo tanto, si los 
procesos mentales pueden expresarse como una serie de instrucciones — 
un algoritmo— entonces una computadora puede procesar información 
de la misma manera. En otras palabras, a menos que haya algo místico o 
mágico en el pensamiento humano, la inteligencia puede ser alcanzada 
por una computadora. Muchos investigadores de IAG tienen sus 
esperanzas puestas en la hipótesis de Church-Turing. 

La guerra le dio a Turing un curso intensivo sobre todo lo que había 
estado pensando antes de la guerra y sobre muchas cosas que no había 
pensado, como los nazis y los submarinos. En el momento más álgido de 
la guerra, el personal de Bletchley Park descifraba unos cuatro mil 
mensajes interceptados por día. Descifrarlos todos a mano resultaba 
imposible. Era un trabajo destinado para una máquina. Y fue la idea 
crítica de Turing que era más fácil calcular cuáles no eran los ajustes del 
Enigma que cuáles sí eran. 

Los decodificadores tenían datos con los cuales trabajar, mensajes 
interceptados que habían sido “entendidos” a mano, o por medio de 
máquinas decodificadores eléctricas llamadas Bombes. Les llamaban 
“besos” a estos mensajes. Al igual que 1.J. Good, Turing era un bayesiano 
devoto, durante una época en la que el método estadístico era visto como 
una especie de brujería. El punto central del método, el teorema de 


Bayes, describe cómo usar datos para deducir las probabilidades de 
eventos desconocidos, en este caso, de los ajustes del Enigma. Los “besos” 
eran los datos que permitían que los decodificadores determinaran cuáles 
ajustes eran altamente improbables, de modo que los esfuerzos por 
descifrar códigos pudieran enfocarse de manera más eficiente. Desde 
luego, los códigos cambiaban casi a diario, así que el trabajo en Bletchley 
Park era una carrera constante. 

Turing y sus colegas diseñaron una serie de máquinas electrónicas 
que evaluaban y eliminaban posibles ajustes del Enigma. Estas 
computadoras tempranas culminaron en una serie de máquinas, todas 
ellas llamadas “Colossus.” Colossus podía leer cinco mil caracteres por 
segundo de cinta de papel que viajaba a través de él a veintisiete millas 
por hora. Contenía 1,500 tubos de vacío y llenaba un cuarto. Uno de sus 
usuarios principales, y el creador de la mitad de la teoría detrás del 
Colossus, era quien fungió como el estadístico en jefe para Turing 
durante gran parte de la guerra: Irving John Good. 

Los héroes de Bletchley Park probablemente acortaron la Segunda 
Guerra Mundial por una cantidad de dos a cuatro años, por lo cual 
salvaron un número incalculable de vidas. Pero no hubo desfiles para los 
guerreros secretos. Churchill ordenó que todas las máquinas de 
criptografía de Bletchley se rompieran en pedazos no más grandes que un 
puño, de manera que su asombroso poder de decodificación no pudiera 
usarse contra Gran Bretaña. A los descifradores de códigos se les pidió 
guardar el secreto durante treinta años. Turing y Good fueron reclutados 
para unirse al personal de la Universidad de Manchester, donde su 
anterior dirigente de área, Max Newman, pretendía desarrollar una 
computadora para uso general. Turing estaba preparando un diseño de 
computadora en el Laboratorio Nacional de Física cuando su vida se puso 
de cabeza. Un hombre, con el que había tenido un amorío sin 
compromiso, robó su casa. Cuando reportó el crimen, confesó ante la 
policía que tenía esta relación de índole sexual. Se le acusó de faltas a la 
moral y se le retiró su autorización de acceso a información. 

En Bletchley, Turing y Good habían discutido ideas futuristas como 
computadoras, máquinas inteligentes y un jugador de ajedrez 
“automático.” Turing y Good establecieron un lazo debido a su gusto por 
los juegos de ajedrez, los cuales Good ganaba. A cambio de esto, Turing 
le enseñó a jugar Go, un juego asiático de estrategia, el cual también 
ganó. Turing, quien era un corredor de fondo de clase mundial, 
desarrolló una forma de ajedrez que hacía que un jugador quedara en 
circunstancias iguales al jugar contra jugadores mejores. Después de cada 


jugada, cada jugador tenía que correr alrededor del jardín. Tenía derecho 
a dos jugadas si regresaba a la mesa antes de que su oponente hubiera 
movido su pieza. 

La condena de 1952 de Turing por indecencia sorprendió a Good, 
quien no sabía que Turing era homosexual. Turing se vio obligado a 
elegir entre prisión y castración química. Optó por esto último, y se 
sometió a inyecciones constantes de estrógeno. En 1954 se comió una 
manzana envenenada con cianuro. Un rumor fascinante pero sin 
fundamentos asegura que Apple Computer derivó su logotipo de esta 
tragedia. 

Una vez que se había acabado la prohibición respecto a los secretos, 
Good fue uno de los primeros en hablar públicamente sobre la forma en 
que el gobierno trató a su amigo y héroe de guerra. 

“No voy a decir que lo que hizo Turing logró que ganáramos la 
guerra,” dijo Good. “Pero me atrevo a decir que podríamos haberla 
perdido sin él.” En 1967, Good dejó un puesto en la Universidad de 
Oxford para aceptar el trabajo en Virginia Tech. Tenía cincuenta y dos 
años. Durante lo que quedó de su vida, solamente regresó a Gran Bretaña 
una vez. 

Iba acompañado durante ese viaje en 1983 por una alta y hermosa 
asistente de veinticinco años, una rubia de Tennessee llamada Leslie 
Pendleton. Good había conocido a Pendleton en 1980 después de haber 
tenido diez secretarias a lo largo de trece años. Ella misma era graduada 
del Tech, y Pendleton se quedó donde otras no lo habían hecho, sin 
doblegarse ante el perfeccionismo irritante de Good. Me contó que la 
primera vez que envió uno de sus reportes a una publicación sobre 
matemáticas: “Él supervisó cómo ponía el papel y la carta de 
presentación en el sobre. Supervisó la forma en que sellaba el sobre; no le 
gustaba la saliva y me hizo utilizar una esponja. Vigiló cómo coloqué la 
estampilla. Seguía justo ahí cuando regresé del cuarto de correo para 
asegurarse de que el envío hubiera salido bien, como si me pudieran 
haber secuestrado o algo. Era un hombrecito extraño.” 

Good quería casarse con Pendleton. Sin embargo, para empezar, ella 
no podía ver más allá de su diferencia de edad de cuarenta años. Sin 
embargo, el excéntrico inglés y la belleza de Tennessee forjaron un lazo 
que ella todavía encuentra difícil de describir. Durante treinta años, ella 
lo acompañó en sus vacaciones, se encargó de todos sus documentos y 
suscripciones y puso en orden sus asuntos hasta que se retiró mientras su 
salud iba en declive. Cuando nos conocimos, me llevó a visitar la casa de 
él en Blacksburg, una construcción de ladrillos con vista hacia la 


carretera U.S. Route 460, que había sido un camino campirano de dos 
carriles cuando Good se mudó a la zona. 

Leslie Pendleton es escultural, ahora está en la mitad de su quinta 
década, tiene un doctorado y es madre de dos adultos. Es profesora y 
administradora en Virginia Tech, una experta en cuanto a horarios, 
salones y excentricidades de los profesores, respecto a lo cual ha tenido 
un buen entrenamiento. Y a pesar de que se casó con un hombre de su 
propia edad y tuvo una familia, muchos integrantes de la comunidad 
cuestionaban su relación con Good. Finalmente recibieron su respuesta 
en 2009 durante su funeral, en donde el panegírico corrió a cargo de 
Pendleton. No, nunca habían estado involucrados románticamente, dijo 
ella, pero sí, cada uno sentía devoción por el otro. Good no había 
encontrado romance con Pendleton, pero sí había encontrado una mejor 
amiga durante treinta años, una guardiana incondicional de su 
patrimonio y de la forma en que se le recuerda. 

En el patio de Good, en medio del quejido de los insectos de la 
Route 460, le pregunté a Pendleton si él a veces discutía la explosión de 
la inteligencia o si una computadora podría salvar de nuevo al mundo, 
como lo había hecho durante su juventud. Ella pensó durante un 
momento, y trató de recuperar un recuerdo distante. Luego dijo, 
sorpresivamente, que Good había cambiado de opinión respecto a la 
explosión de la inteligencia. Dijo que necesitaba revisar los papeles de 
Good antes de decirme más. 

Esa noche, en un restaurante Outback Steakhouse donde Good y su 
amigo Golde Holtzman habían tenido la costumbre de reunirse cada 
sábado por la noche, Holtzman me dijo que tres cosas despertaban los 
sentimientos de Good: la Segunda Guerra Mundial, el holocausto y el 
vergonzoso destino de Turing. Esto se relacionaba con el eslabón que 
había en mi mente entre el trabajo que Good hizo durante la guerra y lo 
que escribió en su reporte “Especulaciones respecto a la primera máquina 
ultrainteligente.” Good y sus colegas habían enfrentado una amenaza 
mortal y las máquinas computacionales los habían ayudado a derrotarla. 
Si una máquina podía salvar al mundo en la década de 1940, quizá una 
que fuera superinteligente podría resolver los problemas de la 
humanidad en los años 60. Y si la máquina pudiera aprender, su 
inteligencia explotaría. La humanidad tendría que ajustarse a compartir 
el planeta con máquinas superinteligentes. En “Especulaciones” escribió: 


Las máquinas crearán problemas sociales, pero podrían también ser 
capaces de solucionarlos junto con aquellos que han sido creados 


por microbios y hombres. Semejantes máquinas serían temidas y 
respetadas, quizá incluso amadas. Estos comentarios les pueden 
parecer soñadores a algunos lectores, pero al autor le parecen muy 
reales y urgentes, y merecedores de ser destacados más allá de la 
ciencia ficción. 


No hay una línea conceptual recta que conecte a Bletchley Park con 
la explosión de la inteligencia, sino una línea sinuosa con muchas 
influencias. En una entrevista de 1996 con el estadístico que fue 
anteriormente su alumno, David L. Banks, Good reveló que se había 
sentido motivado a escribir su ensayo después de ahondar en el tema de 
las redes neurales artificiales. Llamadas RNAs, son un modelo 
computacional que imita la actividad de la red de neuronas del cerebro 
humano. Al ser estimuladas, las neuronas en el cerebro se disparan y 
mandan una señal a otras neuronas. Esta señal puede codificar un 
recuerdo o llevar a una acción, o ambas cosas. Good había leído un libro 
de 1949 del psicólogo Donald Hebb que planteaba que el 
comportamiento de las neuronas podría simularse matemáticamente. 

Una “neurona” computacional estaría conectada a otras neuronas 
computacionales. Cada conexión tendría “pesos” numéricos de acuerdo a 
su fuerza. El aprendizaje de la máquina ocurriría cuando dos neuronas 
fueran activadas simultáneamente, lo cual incrementaría el “peso” de su 
conexión. “Las células que se disparan juntas se conectan juntas” se 
volvió el lema de la teoría de Hebb. En 1957, el psicólogo del MIT 
(Instituto Tecnológico de Massachusetts, por sus siglas en inglés) Frank 
Rosenblatt creó una red neuronal basada en el trabajo de Hebb, a la cual 
llamó un “Perceptron.” Construido a partir de una computadora de IBM 
del tamaño de un cuarto, el Perceptron “veía” y aprendía patrones 
visuales sencillos. En 1960, IBM le pidió a 1.J. Good que evaluara el 
Perceptron. “Pensé que sería tan probable que las redes neuronales, con 
su funcionamiento ultraparalelo, dieran lugar a una máquina inteligente 
como la programación,” dijo Good. Las primeras pláticas en las que Good 
basó “Especulaciones respecto a la primera máquina ultrainteligente” 
surgieron dos años después. Nació la explosión de la inteligencia. 

Good tenía hasta más razón de lo que creía con respecto a las RNAs. 
Hoy, las redes neuronales artificiales son muy relevantes en cuanto a 
inteligencia artificial, y están involucradas en aplicaciones que van desde 
el reconocimiento del habla y la escritura hasta los modelos financieros, 
la aprobación de crédito y el control de robots. Las RNAs destacan en 
cuanto al reconocimiento de patrones rápidos y de alto nivel que estos 


trabajos requieren. La mayoría también involucra “entrenar” a la red 
neuronal con cantidades masivas de datos (llamados juegos de 
entrenamiento) a fin de que la red pueda “aprender” patrones. Luego 
podrá reconocer patrones similares en datos nuevos. 

Los analistas pueden preguntar, con base en los datos del mes 
pasado, cómo estará el mercado de valores la próxima semana. O ¿qué 
tan probable es que alguien no cumpla con su hipoteca, dado su historial 
de tres años en cuanto a ingresos, gastos y datos de crédito? 

Al igual que los algoritmos genéticos, las RNAs son sistemas de 
“caja negra.” Es decir, los datos ingresados —los pesos del sistema y las 
activaciones de neuronas— son transparentes. Y la información que 
brindan es comprensible. Pero ¿qué sucede en medio? Nadie lo entiende. 
La información que sale de las herramientas de inteligencia artificial tipo 
“caja negra” jamás se puede predecir. Así que nunca pueden ser 
verdadera y verificablemente “seguras.” 


Pero probablemente jugarán un papel importante en los sistemas de TAG. 
Muchos investigadores hoy piensan que el reconocimiento de patrones — 
lo que buscaba el Perceptron de Rosenblatt— es la principal herramienta 
de nuestro cerebro para la inteligencia. El inventor del Palm Pilot y el 
Treo de Handspring, Jeff Hawkins, fue un pionero del reconocimiento de 
la escritura a mano por medio de RNAs. Su compañía, Numenta, 
pretende encontrar la forma de crear IAG con tecnología de 
reconocimiento de patrones. Dileep George, quien una vez fue director 
general de tecnología de Numenta, ahora está a la cabeza de Vicarious 
Systems, cuya ambición corporativa se afirma en su lema, “Estamos 
construyendo software que piensa y aprende como un humano”. 

El neurocientífico, científico cognitivo e ingeniero biomédico Steven 
Grossberg ha desarrollado un modelo basado en las RNAs que algunos en 
la industria creen que realmente podría conducir a la IAG, y quizá hasta 
a la “ultrainteligencia” cuyo potencial Good vio en las redes neuronales. 
A grandes rasgos, Grossberg primero determina los papeles que juegan en 
la cognición las diferentes regiones de la corteza cerebral. Ahí es donde 
se procesa la información y se produce el pensamiento. Después, crea 
RNAs para modelar cada región. Ha tenido éxito en procesamiento de 
movimiento y habla, detección de formas y otras tareas complejas. Ahora 
está explorando cómo ligar sus módulos computacionalmente. 

El aprendizaje por parte de las máquinas quizá haya sido un nuevo 


concepto para Good, pero seguramente encontró algoritmos del mismo al 
evaluar el Perceptron para IBM. Luego, la fascinante posibilidad de que 
las máquinas aprendieran como lo hacen los humanos le dejó ver a Good 
consecuencias que los demás todavía no imaginaban. Si una máquina 
podía volverse más inteligente por sí sola, entonces la máquina mejorada 
sería incluso mejor a la hora de volverse a sí misma más inteligente, y así 
sucesivamente. 

En los tumultuosos años 60, previo a que creara su concepto de la 
explosión de la inteligencia, probablemente pensada en los tipos de 
problemas con los que una máquina inteligente podría ayudar. Ya no 
había más submarinos alemanes para hundir, pero estaban la hostil 
Unión Soviética, la crisis de los misiles en Cuba, el asesinato del 
presidente Kennedy y la guerra por terceros que ocurría entre los Estados 
Unidos y China que se desarrollaba por todo el sudeste de Asia. El 
hombre se acercaba hacia el umbral de la extinción—parecía un buen 
momento para un nuevo Colossus. En Especulaciones, Good escribió: 


[El pionero de las computadoras] B.V. Bowden declaró que no tiene 
sentido construir una máquina con la inteligencia de un humano, 
dado que es más sencillo construir cerebros humanos a través del 
método habitual... Esto muestra que las personas altamente 
inteligentes pueden pasar por alto la “explosión de la inteligencia.” 
Es cierto que sería poco económico construir una máquina sólo 
capaz de logros intelectuales ordinarios, pero parece 
razonablemente probable que si esto se lograra hacer, entonces, por 
el doble del costo, la máquina podría exhibir ultrainteligencia. 


Así que por unos cuantos dólares más usted puede obtener SIA, 
superinteligencia artificial, plantea Good. Pero entonces prepárese para 
las ramificaciones que abarcarán a toda la sociedad por compartir el 
planeta con una inteligencia mayor a la del humano. 

En 1962, antes de escribir “Especulaciones respecto a la primera 
máquina ultrainteligente,” Good editó un libro llamado El científico 
especula. Escribió un capítulo titulado “Las implicaciones sociales de la 
inteligencia artificial,” una especie de calentamiento para las ideas sobre 
superinteligencia que estaba desarrollando. Tal y como Steve Omohundro 
alegaría casi cincuenta años después, hizo notar que entre los problemas 
que las máquinas inteligentes tendrían que enfrentar estarían aquellos 
provocados por su propia aparición perturbadora en la Tierra. 


Semejantes máquinas... podrían incluso hacer sugerencias políticas 
y económicas útiles, y necesitarían hacerlo para compensar los 
problemas creados por su propia existencia. Habría problemas de 
sobrepoblación, debido a la eliminación de la enfermedad, y de 
desempleo, debido a la eficiencia de robots de bajo nivel que las 
máquinas principales hubieran diseñado. 


Pero, como pronto descubrí, Good tuvo un sorprendente cambio de 
opinión más adelante en su vida. Yo siempre lo había agrupado con 
optimistas como Ray Kurzweil, porque él ya había visto a las máquinas 
“Salvar” al mundo antes, y su ensayo condiciona la supervivencia del 
hombre a la creación de una máquina superinteligente. Pero la amiga de 
Good, Leslie Pendleton, había hecho alusión a un cambio de opinión. Le 
tomó un rato recordar la ocasión en que sucedió, pero durante mi último 
día en Blacksburg, lo hizo. 

En 1998, Good recibió el premio al Pionero en Computación por 
parte del IEEE (Instituto de Ingenieros Eléctricos y Electrónicos, por sus 
siglas en inglés). Tenía ochenta y dos años. Como parte de su discurso de 
aceptación, se le pidió que proporcionara una biografía. La entrego, pero 
no la leyó en voz alta ni tampoco alguien más lo hizo durante la 
ceremonia. Quizá sólo Pendleton sabía que existía. Incluyó una copia 
junto con otros papeles que le solicité, y me los dio antes de que yo 
dejara Blacksburg. 

Antes de enfrentarme a la carretera interestatal 1-81, y dirigirme de 
regreso hacia el norte, la leí en mi coche en el estacionamiento de un 
centro Rackspace Inc. de computación en nube. Al igual que Amazon y 
Google, Rackspace (lema corporativo: “Apoyo Fanático” Y), proporciona 
poder computacional masivo por poco dinero al rentar tiempo en su 
matriz de decenas de miles de procesadores, así como exabytes de 
espacio de almacenamiento. Por supuesto que Virginia Tech —donde 
dicen “Inventa el futuro—” tenía cerca unas instalaciones de Rackspace, 
y yo quería hacer un recorrido, pero estaban cerradas. Sólo fue hasta 
después que me pareció inquietante que, a sólo una docena de yardas de 
donde estaba sentado y leía las notas biográficas de Good, decenas de 
miles de procesadores enfriados por aire trabajaban para resolver los 
problemas del mundo. 

En la biografía, escrita juguetonamente en tercera persona, Good 
resumía los hitos de su vida, incluyendo un recuento que probablemente 
nunca antes se había dado a conocer sobre su trabajo en Bletchley Park 
con Turing. Pero aquí está lo que escribió en 1998 sobre la primera 


superinteligencia, y la vuelta en U que su opinión tomó en la parte tardía 
de su vida: 


[El reporte] “Especulaciones respecto a la primera máquina 
ultrainteligente (1965)... comenzaba: “La supervivencia del hombre 
depende de la construcción temprana de uma máquina 
ultrainteligente.” Éstas eran sus palabras [de Good] durante la 
Guerra Fría, y ahora sospecha que la “supervivencia” debería 
reemplazarse por “extinción.” Piensa que, debido a la competencia 
internacional, no podemos prevenir que las máquinas se apoderen 
de todo. Él piensa que somos seguidores. Él también dijo que “el 
Hombre probablemente construya su deus ex machina a su propia 
imagen.” 


Leí eso y miré tontamente hacia el edificio de Rackspace. Conforme 
su vida fue llegando a su fin, Good rectificó algo más que su creencia en 
la probabilidad de la existencia de Dios. Encontré un mensaje en una 
botella, una acotación que puso todo de cabeza. Good y yo ahora 
teníamos algo importante en común. Ambos creíamos que la explosión de 
la inteligencia no iba a acabar bien. 


CAPÍTULO OCHO 


EL PUNTO EN QUE NO HAY VUELTA ATRÁS 


Pero si la Singularidad tecnológica puede suceder, sucederá. 
Incluso si todos los gobiernos del mundo llegaran a entender la 
“amenaza” y a tener un temor mortal de ella, seguirá adelante el 
progreso hacia la meta. De hecho, la ventaja competitiva — 
económica, militar, incluso artística— de cada avance en la 
automatización es tan atractiva que aprobar leyes, o establecer 
costumbres que prohíban tales cosas simplemente garantizan que 
alguien más lo hará. 


Vernor Vinge, La Singularidad tecnológica que se avecina, 1993 


Esta cita suena como una versión ampliada de la acotación en la 
biografía de 1.J. Good, ¿verdad? Al igual que Good, el autor de ciencia 
ficción y profesor de matemáticas dos veces ganador del premio Hugo, 
Vernor Vinge, hace alusión a la predilección de los humanos, propia de 
los seguidores, por perseguir la gloria hasta entrar en la boca del cañón, 
por tomar prestada una frase de Shakespeare. Vinge me dijo que nunca 
había leído los párrafos biográficos sobre Good escritos por él mismo ni 
había sabido de este cambio de opinión respecto a la explosión de la 
inteligencia que tuvo hacia el final de su vida. Probablemente sólo Good 
y Leslie Pendleton sabían sobre esto. 

Vernor Vinge fue la primera persona en utilizar la palabra 
“singularidad” de manera formal al describir el futuro tecnológico— lo 
hizo en un discurso de 1933 ante la NASA, titulado “La Singularidad 
tecnológica que se avecina.” El matemático Stanislaw Ulam reportó que 
él y el erudito John von Neumann habían usado “singularidad” en una 
conversación sobre cambio tecnológico treinta y cinco años atrás, en 
1958. Pero esto que Vinge acuñó fue público y deliberado, e hizo rodar la 
bola de la singularidad hacia las manos de Ray Kurzweil y lo que hoy es 
el movimiento de la Singularidad. 

Dado que tiene el respeto de los conocedores, ¿por qué no se dedica 
Vinge a hacer giras de pláticas y conferencias como el máximo 
especialista en Singularidad? 

Bueno, la singularidad tiene muchos significados, y el uso de Vinge 
es más preciso que otros. Para definir la singularidad, ha hecho una 
analogía con el punto en la órbita de un hoyo negro más allá del cual la 
luz no puede escapar. Usted no puede ver lo que sucede más allá de ese 
punto, llamado el horizonte de sucesos. De manera similar, una vez que 
compartamos el planeta con entes más inteligentes que nosotros mismos, 
puede pasar lo que sea; no podemos predecir lo que sucederá. Tendría 
usted que ser al menos así de inteligente para saberlo. 

Así que si no tiene usted una clara idea de cómo funcionará el 
futuro, ¿cómo puede escribir al respecto? Vinge no escribe ciencia 
fantástica; es lo que se conoce como un autor de ciencia ficción dura, 
pues utiliza ciencia real dentro de su ficción. La singularidad lo paralizó. 


Es un problema que enfrentamos cada vez que consideramos la 
creación de inteligencias superiores a la nuestra. Cuando eso 
suceda, la historia humana habrá llegado a un tipo de singularidad 
—a un lugar donde la extrapolación se descompone y deben 
aplicarse nuevos modelos— y el mundo rebasará nuestro 
entendimiento. 


Como Vinge lo cuenta, cuando empezó a escribir ciencia-ficción en 
los años 60, los mundos basados en ciencia sobre los que escribió estaban 
a cuarenta o cincuenta años de distancia. Pero para los años 90, el futuro 
estaba corriendo hacia él, y el ritmo de cambio tecnológico parecía 
acelerarse. Ya no podía predecir lo que el futuro traería, porque le 
parecía que pronto contendría inteligencia superior a la de los humanos. 
Esa inteligencia, y no la de la humanidad, iba a establecer el ritmo del 
progreso tecnológico. Él no podría escribir al respecto, y otros tampoco 
podrían. 


A través de los sesenta y setenta y ochenta, se difundió el 
reconocimiento del cataclismo. Quizá fueron los escritores de 
ciencia ficción quienes sintieron el primer impacto concreto. 
Después de todo, los escritores de ciencia ficción “dura” son los que 
tratan de escribir historias específicas respecto a todo lo que la 
tecnología podría hacer por nosotros. Cada vez más, estos escritores 
sintieron que había una pared opaca hacia el futuro. 


El investigador de IA, Ben Goertzel me dijo: “Vernor Vinge vio muy 
claramente su inherente imposibilidad de conocerse cuando planteó la 
noción de la singularidad tecnológica. Es por eso que no se la pasa dando 
discursos al respecto, dado que no sabe qué decir. ¿Qué va a decir? “¿Sí, 
creo que vamos a crear tecnologías que serán mucho más capaces que los 
humanos y entonces quién sabe lo que suceda?”” 

Pero ¿qué hay acerca del invento del fuego, la agricultura, la 
imprenta, la electricidad? ¿Acaso no han ocurrido ya muchas 
“singularidades” tecnológicas? El cambio tecnológico perturbador no es 
nada nuevo, pero nadie se sintió motivado a inventar nombres elegantes 
para estos incidentes. Mi abuela nació antes de que los automóviles 
fueran ampliamente usados, y vivió lo suficiente como para ver a Neil 
Armstrong caminar sobre la luna. El nombre que ella le daba era siglo 
XX. ¿Qué hace que la transición de Vinge sea tan especial? 

“El ingrediente secreto es la inteligencia,” me dijo Vinge. Su voz 


tiene tesitura de tenor y es veloz y propensa a la risa. “La inteligencia es 
lo que la hace diferente, y la característica operativa que la define es que 
quien no la ha experimentado no puede entenderla. Estamos en una 
situación tal, que en un tiempo muy breve, en sólo unas cuantas décadas, 
estaremos obteniendo transformaciones que son, por analogía, de un 
significado biológicamente grande.” 

Dos ideas importantes están integradas en esto. En primera, la 
singularidad tecnológica traerá un cambio en la inteligencia como tal, el 
superpoder exclusivamente humano que crea la tecnología de inicio. Por 
esto es distinta a cualquier otra revolución. En segunda, la 
transformación biológica a la que Vinge hace alusión es cuando la 
humanidad subió al escenario del mundo hace unos doscientos mil años. 
Como era más inteligente que ninguna otra especie, Homo sapiens, u 
“hombre sabio,” comenzó a dominar el planeta. De manera similar, 
mentes mil o un millón de veces más inteligentes que la del hombre 
cambiarán el juego para siempre. ¿Qué nos pasará? 

Esto generó una risa de percusión por parte de Vinge. “Si me 
presionan fuertemente sobre preguntas respecto a cómo va a ser la 
Singularidad, mi refugio más común es decir: ¿Por qué crees que la llamé 
Singularidad?” 

Pero Vinge ha concluido algo respecto al futuro opaco: la 
Singularidad es amenazadora, y puede conducir a nuestra extinción. El 
autor, cuyo discurso de 1993 cita el párrafo completo de 1967 de Good 
respecto a la explosión de la inteligencia, señala que el famoso estadístico 
no llevó sus conclusiones lo suficientemente lejos: 


Good ha capturado la esencia de lo que está fuera de control, pero 
no persigue sus consecuencias más perturbadoras. Cualquier 
máquina inteligente del tipo que él describe no sería la 
“herramienta” de la humanidad; eso sería como decir que los 
humanos son las herramientas de los conejos o los petirrojos o los 
chimpancés. 


Ésa es otra analogía apropiada, los conejos son para los humanos lo 
que los humanos serán para las máquinas superinteligentes. ¿Cómo 
tratamos a los conejos? Como plagas, mascotas o la cena. Agentes con 
SIA serán nuestras herramientas al principio como lo son actualmente sus 
antepasados Google, Siri y Watson. Y, Vinge insinúa, hay muchas otras 
maneras además de la inteligencia de máquinas independientes que 
podrían causar una singularidad. Éstas incluyen la inteligencia que surja 


de Internet, de Internet además de sus usuarios (una Gaia digital), de 
interfaces humanas-computacionales y de las ciencias biológicas (mejorar 
la inteligencia de generaciones futuras a través de manipulación 
genética). 

En tres de estas vías, los humanos se mantienen involucrados a lo 
largo del desarrollo de las tecnologías, quizá guiando un incremento de 
la inteligencia gradual y manejable, más que una explosión. Así que es 
posible, dice Vinge, considerar cómo podrían vencerse los problemas más 
grandes de la humanidad: hambre, enfermedad, incluso la propia muerte. 
Esa es la visión aceptada por Ray Kurzweil y promulgada por los 
“singularitarianos.” Los singularitarianos son aquellos que prevén que 
principalmente cosas buenas surgirán del futuro acelerado. Su 
“singularidad” suena demasiado optimista en opinión de Vinge. 

“Estamos jugando un juego de muy alto riesgo y el lado positivo es 
tan optimista que eso en sí mismo da miedo en cierta forma. Un impulso 
económico mundial está asociado con esos avances en cuanto a IA. Y eso 
es una fuerza extraordinariamente poderosa. Así que hay cientos de miles 
de personas en el mundo, personas muy listas, que están trabajando en 
cosas que conducirán hasta la inteligencia superhumana. Y 
probablemente la mayoría de ellos ni siquiera lo ve de esa manera. Lo ve 
como más rápido, más barato, mejor, más rentable.” 

Vinge lo compara con la estrategia de la Guerra Fría llamada DMA, 
destrucción mutua asegurada (MAD, por sus siglas en inglés). Acuñada 
por el amante de los acrónimos John von Neumann (quien también fue el 
creador de una computadora temprana con las iniciales ganadoras, 
MANIAC), la DMA mantuvo la paz durante la Guerra Fría por medio de 
la promesa de erradicación mutua. Al igual que la DMA, la 
superinteligencia cuenta con muchos investigadores que trabajan en 
secreto para desarrollar tecnologías con potencial catastrófico. Pero es 
como la destrucción mutua asegurada sin ningún freno puesto por el 
sentido común. Nadie sabrá quién va a la delantera, de modo que todos 
darán por hecho que alguien más lo está. Y, como lo hemos visto, el 
ganador no se lleva todo. El ganador en la carrera armamentista de la IA 
tendrá la dudosa distinción de ser el primero en confrontar al Niño 
Ocupado. 

“Tenemos miles de personas buenas que están trabajando en todas 
partes del mundo por medio de una especie de esfuerzo comunitario para 
crear un desastre,” dijo Vinge. “El panorama amenazador que hay en el 
futuro es muy malo. No estamos dedicando suficiente esfuerzo a pensar 
acerca de posibilidades de fracaso.” 


Algunos de los otros escenarios que le preocupan a Vinge también 
merecen más atención. Una Gaia digital, o un matrimonio de humanos y 
computadoras, ya se está organizando en Internet. Lo que esto significará 
para nuestro futuro es profundo y de gran alcance, y merece más libros 
que los que se han escrito al respecto. El Al, o aumento de la inteligencia, 
tiene un potencial similar para el desastre que la IA independiente, 
mitigado hasta cierto punto por el hecho de que un humano participa, al 
menos en un inicio. Pero esa ventaja rápidamente desaparecerá. 
Hablaremos más acerca del Al después. Primero, quiero poner atención a 
la noción de Vinge de que la inteligencia podría emerger de Internet. 

Varios pensadores de la tecnología, incluyendo a George Dyson y 
Kevin Kelly, han planteado que la información es una forma de vida. El 
código computacional que porta información se replica a sí mismo y 
crece de acuerdo a reglas biológicas. Pero la inteligencia, bueno, eso es 
otra cosa. Es una característica de los organismos complejos, y no se da 
por accidente. 

En su hogar en California, yo le había preguntado a Eliezer 
Yudkowsky si la inteligencia podría surgir del hardware de Internet que 
estaba creciendo exponencialmente, de sus cinco billones de megabytes 
de datos, sus más de siete mil millones de computadoras y teléfonos 
inteligentes conectados y sus setenta y cinco millones de servidores. 
Yudkowsky había hecho una mueca, como si sus neuronas hubieran sido 
inundadas por un baño ácido de tonterías. 

“Rotundamente no,” me dijo. “Tomó miles de millones de años para 
que la evolución hiciera surgir la inteligencia. La inteligencia no emerge 
por la complejidad de la vida. No sucede automáticamente. Hay una 
presión por la optimización con selección natural.” 

En otras palabras, la inteligencia no surge de la complejidad por sí 
sola, e Internet carece de los tipos de presiones ambientales que, en la 
naturaleza, favorecieron algunas mutaciones por encima de otras. 

“Siempre digo que probablemente haya menos complejidad 
interesante en la Vía Láctea entera fuera de la Tierra que la que hay en 
una mariposa terrenal porque la mariposa ha sido producida por procesos 
que retienen sus éxitos y construyen a partir de ellos,” dijo Yudkowsky. 

Estoy de acuerdo en que la inteligencia no  florecería 
espontáneamente de Internet. Pero creo que el modelado financiero 
basado en agentes podría pronto cambiar todo respecto a la red en sí. 


Hace mucho tiempo, cuando los analistas de Wall Street querían 
predecir cómo se comportaría el mercado, utilizaban una serie de reglas 
dictadas por la macroeconomía. Estas reglas toman en cuenta factores 
como tasas de interés, datos de empleo y “construcción de viviendas” o 
nuevas casas construidas. Sin embargo, cada vez más, Wall Street está 
volteando hacia el modelado financiero basado en agentes. Esta nueva 
ciencia puede simular computacionalmente el mercado de valores 
completo, e incluso la economía, para mejorar las predicciones. 

Para modelar el mercado, los investigadores crean modelos 
computacionales de las entidades que compran y venden valores: 
individuos, firmas, bancos, fondos de cobertura y así sucesivamente. 
Cada uno de estos miles de “agentes” tiene diferentes metas y reglas de 
decisión, o estrategias, para comprar y vender. A su vez, están influidos 
por los datos de mercado siempre cambiantes. Los agentes, impulsados 
por redes neuronales artificiales y otras técnicas de IA, están 
“entrenados” respecto a la información del mundo real. Al actuar al 
unísono, y estar actualizados con datos en vivo, los agentes crean un 
retrato fluido del mercado viviente. 

Luego, los analistas prueban escenarios para el intercambio de 
valores individuales. Y a través de técnicas evolutivas de programación, 
el modelo de mercado puede irse un día o una semana “hacia adelante,” 
para darles a los analistas una buena idea de cómo lucirá el mercado en 
el futuro, y de qué oportunidades de inversión podrían aparecer. Este 
planteamiento ascendente para crear modelos financieros encarna la idea 
de que las reglas de comportamiento de agentes individuales generan un 
comportamiento general complejo. En general, lo que ocurre en Wall 
Street también ocurre en panales de abejas y colonias de hormigas. 

Lo que empieza a cobrar forma en cuanto a las supercomputadoras 
de las capitales financieras del mundo son los mundos virtuales 
sumergidos en detalles del mundo real, y poblados por “agentes” cada 
vez más inteligentes. Las predicciones más ricas, con mayores sutilezas, 
significan mayores ganancias. Así que incentivos económicos poderosos 
avivan el impulso por incrementar la precisión de los modelos a cada 
nivel. 

Si es útil crear agentes computacionales que lleven a cabo 
estrategias complejas para la compra de acciones, ¿no sería más útil crear 
modelos computacionales con la gama completa de motivaciones y 
habilidades de los humanos? ¿Por qué no crear IAGs, o agentes con 
inteligencia de nivel humano? Bueno, eso es lo que está haciendo Wall 
Street, pero con otro nombre: modelos financieros basados en agentes. 


El hecho de que los mercados financieros hagan que surja la IAG es 
la postura del doctor Alexander D. Wissner-Gross. Wissner-Gross tiene el 
tipo de currículum que hace que otros inventores, autoridades 
académicas y eruditos se queden más tiempo cerca de huecos del 
ascensor que estén abiertos. Ha sido autor de trece publicaciones, cuenta 
con dieciséis patentes y se matriculó en el MIT con una triple 
especialización en física, ciencia e ingeniería eléctricas y matemáticas, 
además de graduarse como primero en su clase en la Escuela de 
Ingeniería del MIT. Tiene un doctorado en física por parte de Harvard y 
ganó un gran premio por su tesis. Ha fundado y vendido compañías y, de 
acuerdo con su currículum, recibió “107 grandes distinciones” que 
probablemente no sean algo así como “empleado del mes.” Ahora es un 
investigador en Harvard y trata de comercializar sus ideas respecto a las 
finanzas computacionales. 

Piensa que mientras que hay teóricos brillantes alrededor del 
mundo que están apresurándose a crear IAG, ésta podría aparecer ya 
plenamente formada a partir de los mercados financieros, como una 
consecuencia no intencional de crear modelos computacionales de 
grandes cantidades de humanos. ¿Quién la crearía? Los “quants,” el 
nombre que se le da en Wall Street a los genios de la tecnología de las 
finanzas computacionales. 

“Ciertamente, es posible que una auténtica IAG viviente pudiera 
emerger de los mercados financieros,” me dijo Wissner-Gross. “No como 
resultado de un sólo algoritmo de un sólo quant, sino como una 
acumulación de todos los algoritmos de muchos fondos de cobertura. La 
TAG puede no necesitar una teoría coherente. Podría ser un fenómeno por 
acumulación. Si usted sigue al dinero, las finanzas tienen una 
oportunidad decente de convertirse en el líquido espeso primordial del 
que emerja la TAG.” 

Para aceptar este escenario usted tiene que creer que hay mucho 
dinero que está detonando la creación de modelado financiero cada vez 
mejor y mejor. Y de hecho lo hay; de manera anecdótica se dice que es 
más dinero que el que nadie más esté gastando en inteligencia de 
máquinas, quizá hasta más de lo que DARPA, IBM y Google puedan 
destinar a la IAG. Eso se traduce en más y mejores supercomputadoras y 
quants más inteligentes. Wissner-Gross dijo que los quants usan las 
mismas herramientas que los investigadores de IA: redes neuronales, 
algoritmos genéticos, lectura automática, modelos de Markov ocultos, lo 
que usted guste. Cada nueva herramienta de IA es probada en el crisol de 
las finanzas. 


“Cada vez que se desarrolla una nueva técnica de IA,” me dijo 
Wissner-Gross, “la primera pregunta que sale de la boca de cualquier 
persona es: “¿Puede usarse para negociar con acciones?”” 

Ahora imagínese que usted es un quant con alto poder y una reserva 
de fondos que sea lo suficientemente grande como para contratar más 
quants y comprar más hardware. El fondo de cobertura para el que usted 
trabaja está utilizando un excelente modelo de Wall Street, poblado por 
miles de agentes económicos diversos. Sus algoritmos reaccionan con 
aquellos de otros fondos de cobertura; están tan fuertemente atados que 
suben y bajan juntos, y parecen actuar conjuntamente. De acuerdo con 
Wissner-Gross, quienes observan el mercado han insinuado que algunos 
parecen estarse mandando señales uno al otro a través de Wall Street con 
negociaciones de milisegundos que ocurren a un ritmo que ningún 
humano puede monitorear (éstas son las HFTs o negociaciones de alta 
frecuencia que se discutieron en el capítulo 6). 

¿Acaso hacer que su fondo de cobertura fuera reflexivo no sería el 
siguiente paso lógico? Es decir, quizá su algoritmo no debería desatar 
automáticamente órdenes de venta con base en las ventas masivas de 
otro fondo (que es lo que ocurrió con la caída repentina de mayo de 
2010). Por el contrario, percibiría la venta y vería cómo estaba teniendo 
un impacto en otros fondos, y en el mercado visto como un todo, antes 
de tomar acción. Podría realizar una acción distinta y mejor. O quizá 
podría hacer algo todavía mejor, y simultáneamente revisar un número 
muy alto de mercados hipotéticos, y estar preparado para ejecutar una de 
muchas estrategias en respuesta a las condiciones correctas. 

En otras palabras, hay inmensos incentivos financieros para que su 
algoritmo esté consciente de sí mismo, para que sepa exactamente qué es 
y que modele el mundo que lo rodea. Eso es muy similar a la IAG. Esto es 
sin duda la ruta por la cual el mercado se dirige, ¿pero alguien va al 
grano y está construyendo IAG? 

Wissner-Gross no lo sabe. Y podría no decírselo si lo supiera. “Hay 
fuertes impulsos mercantiles para mantener en secreto cualquier avance 
grandemente rentable,” dijo. 

Y no sólo está hablando acerca de la competencia entre fondos de 
cobertura, sino de una clase de selección natural entre algoritmos. Los 
ganadores florecen y transmiten su código. Los perdedores mueren. La 
presión evolutiva del mercado aceleraría el desarrollo de la inteligencia, 
pero no sin la mano de un quant humano que lo guíe. Todavía. 

Y una explosión de la inteligencia sería opaca dentro del universo 
de las finanzas computacionales, cuando menos por cuatro razones. Al 


igual que muchas arquitecturas cognitivas, probablemente usaría redes 
neurológicas, programación genética y otras técnicas de IA de “caja 
negra.” En segunda, las transmisiones de alto ancho de banda realizadas 
en milisegundos ocurren con más rapidez que el tiempo que requieren los 
humanos para reaccionar —mire lo que ocurrió durante la Caída 
Repentina. En tercera, el sistema es increíblemente complejo, no hay un 
quant ni un grupo de quants (¿un quántum? ¿una bandada? ¿cuál es el 
sustantivo colectivo para los quants?) que pueda explicar el ecosistema 
de algoritmos de Wall Street y cómo es que interactúan los algoritmos. 

Por último, si una inteligencia formidable emergiera de las finanzas 
computacionales, sería casi seguro que se mantendría en secreto siempre 
y cuando estuviera generando dinero para sus creadores. Con esto se 
completan cuatro niveles de opacidad. 

En resumen, la IAG podría surgir de Wall Street. Los algoritmos más 
exitosos son mantenidos en secreto por los quants que amorosamente los 
codifican, o bien por las compañías a quienes les pertenecen. Una 
explosión de la inteligencia sería invisible para la mayoría de los 
humanos, si no es que para todos, y probablemente sería imparable de 
todas formas. 

Las similitudes entre las finanzas computacionales y la investigación 
sobre IAG no terminan ahí. Wissner-Gross tiene otro planteamiento 
sorprendente. Asegura que las primeras estrategias para controlar la TAG 
podrían surgir a partir de las medidas que ahora se proponen para 
controlar las negociaciones de alta frecuencia. Algunas de ellas suenan 
prometedoras. 

Los interruptores de circuito del mercado aislarían a las IAs 
pertenecientes a los fondos de cobertura del mundo exterior, en caso de 
emergencia. Detectarían interacciones de algoritmos que fluyeran como 
torrente, como la caída repentina de 2010 y desconectarían las máquinas. 

La regla de los grandes operadores exige un registro detallado de las 
IAs, junto con tablas organizacionales humanas completas. Si esto suena 
como un preludio para una gran intervención gubernamental, lo es. ¿Por 
qué no? Wall Street ha demostrado una y otra vez que, como cultura, no 
se puede comportar de manera responsable sin una reglamentación 
rigurosa. ¿Es esto también cierto en el caso de los desarrolladores de la 
IAG? Sin duda alguna. No se requiere una placa de mérito en cuanto a 
ética para estudiar la TAG. 

Las pruebas de algoritmos previas a las negociaciones podrían simular 
el comportamiento de los algoritmos en un entorno virtual antes de 
dejarlos libres en el mercado. La auditoría de códigos fuente de IA y el 


registro centralizado de actividades de IA pretenden adelantarse a los 
errores, y facilitar el análisis posterior a un accidente, como la Caída 
Repentina de 2010. 

Pero vuelva a mirar los cuatro niveles de opacidad mencionados 
antes y vea si estas defensas, incluso si estuvieran plenamente 
implementadas, le suenan como algo infalible. 


ES 


Como hemos visto, Vinge tomó la estafeta de parte de 1I.J. Good y le dio 
nuevos atributos importantes a la explosión de la inteligencia. Tomó en 
cuenta rutas alternas para alcanzarla además de las redes neurológicas 
que Good vaticinó, y señaló la posibilidad, incluso la probabilidad, de la 
aniquilación humana. Quizá lo más importante es que Vinge le puso un 
nombre: una singularidad. 

Poner nombres a las cosas, como bien lo sabe Vinge, autor de la 
novela corta trascendental de ciencia ficción Nombres verdaderos, es un 
acto poderoso. Los nombres se quedan en los labios, se almacenan en el 
cerebro y pasan de una generación a otra. En el libro del Génesis, 
plantean los teólogos, ponerle un nombre a todo sobre la Tierra el 
séptimo día era importante porque una criatura racional iba a compartir 
el escenario creado por Dios, y podría utilizar los nombres 
posteriormente. El crecimiento léxico es una parte importante del 
desarrollo infantil, sin el lenguaje, el cerebro no se desarrolla de la 
manera normal. Parece improbable que la IAG sea posible sin lenguaje, 
sin sustantivos, sin nombres. 

Vinge le puso nombre a la singularidad para designar un lugar 
aterrorizante para los humanos, una propuesta peligrosa. Su definición de 
la singularidad es metafórica: la órbita afuera de agujero negro donde las 
fuerzas gravitacionales son tan fuertes que ni siquiera la luz puede 
escapar. No conocemos su esencia, y le pusieron ese nombre a propósito. 

Y luego, de repente, todo eso cambió. 

A la idea de una singularidad como la que Vinge acepta, Ray 
Kurzweil le agregó un catalizador dramático que lleva esta conversación 
completa hacia la hiperaceleración y pone un poco más en claro el 
peligro catastrófico que hay más adelante: el crecimiento exponencial del 
poder y la velocidad de las computadoras. Es debido a este crecimiento 
que usted debería mirar críticamente a cualquiera que asegure que la 
inteligencia de las máquinas a nivel humano no podrá lograrse hasta 
dentro de un siglo o más, y eso si se logra. 


Por cada dólar gastado, las computadoras han incrementado su 
poder mil millones de veces en los últimos treinta años. En unos veinte 
años, mil dólares servirán para comprar una computadora un millón de 
veces más poderosa que alguna actual, y en veinticinco años comprará 
una que sea mil millones de veces más poderosa que alguna de hoy. Para 
cuando llegue 2020, aproximadamente, las computadoras tendrán la 
capacidad de modelar el cerebro humano, y para 2029, los científicos 
podrán utilizar una simulación cerebral que tenga tantas sutilezas 
intelectuales y emocionales como una mente humana. Para 2045, la 
inteligencia humana y de las máquinas se habría incrementado mil 
millones de veces, y desarrollará tecnologías para derrotar nuestras 
debilidades humanas, como fatiga, enfermedad y muerte. En caso de que 
sobrevivamos a él, el siglo XXI no mostrará el equivalente al progreso 
tecnológico de un siglo, sino el equivalente al progreso de 200,000 años. 

Esta fuerza imparable de proyecciones y análisis es de Kurzweil, y 
es la clave para entender la tercera definición de la singularidad, que es 
la definición predominante, la de él. Está en la médula de la ley de 
rendimientos acelerados de Kurzweil, una teoría acerca del progreso 
tecnológico que Kurzweil no inventó, pero señaló, en una forma muy 
similar a cuando Good vaticinó la explosión de la inteligencia y Vinge dio 
una advertencia respecto a una singularidad que se avecinaba. Lo que 
significa la ley de rendimientos acelerados es que las proyecciones y los 
avances que estamos discutiendo en este libro están precipitándose hacia 
nosotros como un tren de carga que duplica su velocidad a cada milla, y 
luego la vuelve a duplicar. Es muy difícil percibir qué tan rápido llegará 
hasta aquí, pero basta decir que si ese tren fuera viajando a veinte millas 
por hora, cuando terminara la primera milla, tan sólo quince millas 
después estaría viajando a más de 65,000 millas por hora. Y es 
importante hacer notar que las proyecciones de Kurzweil no están 
relacionadas sólo con avances en cuanto al hardware de la tecnología, 
como lo que está adentro de un nuevo iPhone, sino también con avances 
en las artes tecnológicas, como desarrollar una teoría unificada de 
inteligencia artificial. 

Pero ahí es en lo que diferimos Kurzweil y yo. En vez de guiarnos 
hacia una especie de paraíso, como lo afirman las proyecciones 
acumuladas de Kurzweil, creo que la ley de rendimientos acelerados 
describe la distancia más corta entre nuestras vidas como son ahora y el 
fin de la era humana. 


CAPÍTULO NUEVE 


LA LEY DE RENDIMIENTOS ACELERADOS 


La computación está atravesando la transformación más 
asombrosa desde el invento de la computadora personal. La 
innovación de la próxima década va a rebasar la innovación de las 
últimas tres décadas combinadas. 


Paul Otellini, director general de Intel 


Con sus libros La era de las máquinas espirituales: Cuando las computadoras 
rebasan la inteligencia humana y La Singularidad está cerca, Ray Kurzweil 
incautó la palabra “singularidad” y cambió su significado por el de un 
período brillante y esperanzador de la historia humana que sus 
herramientas para extrapolación le permitieron ver con precisión 
asombrosa. En algún momento dentro de los próximos cuarenta años, 
escribe, el desarrollo tecnológico avanzara tan rápidamente que la 
existencia humana quedará alterada fundamentalmente y la estructura de 
la historia se romperá. Las máquinas y la biología no se podrán distinguir 
una de la otra. Los mundos virtuales serán más vívidos y cautivadores 
que la realidad. La nanotecnología permitirá la manufactura sobre 
demanda, lo cual acabará con el hambre y la pobreza y ofrecerá curas 
para todas las enfermedades de la humanidad. Usted podrá detener el 
envejecimiento de su cuerpo, o incluso revertirlo. Es el momento más 
importante para estar vivo, no sólo porque presenciará un ritmo de 
transformación tecnológica verdaderamente increíble, sino además 
porque la tecnología promete darle las herramientas para vivir para 
siempre. Es el inicio de una era “singular.” 


¿Qué es, entonces, la Singularidad? Es un periodo en el futuro 
durante el cual el ritmo del cambio tecnológico será tan rápido, con 
un impacto tan profundo, que la vida humana será transformada 
irreversiblemente. Aunque no es utópica ni distópica, esta época 
transformará los conceptos de los que dependemos para darle 
significado a nuestra vida, desde nuestros modelos de negocios 
hasta el ciclo de la vida humana, incluyendo la muerte misma... 


Considere las historias de Harry Potter, de J.K. Rowling desde esta 
perspectiva. Estos cuentos pueden ser imaginarios, pero no son 
visiones poco razonables de nuestro mundo en la forma en que 
existirá dentro de sólo unas décadas. En esencia, toda la “magia” de 
Potter se realizará a través de tecnologías que exploraré en este 
libro. Jugar quidditch y transformar a la gente y a los objetos en 
otras formas será factible dentro de entornos de realidad virtual de 


inmersión completa, al igual que en la realidad real, al utilizar 
aparatos de nanoescala. 


Entonces, la singularidad no será “ni utópica ni distópica,” ¡pero 
podremos jugar quidditch! Obviamente, la Singularidad de Kurzweil es 
dramáticamente diferente a la singularidad de Vernor Vinge y a la 
explosión de la inteligencia de 1.J. Good. ¿Se pueden conciliar? ¿Es 
simultáneamente el mejor momento para estar vivo y el peor? He leído 
casi cada palabra de Kurzweil que se ha publicado, y escuchado cada 
grabación de audio, podcast y video que está disponible. En 1999, le hice 
una entrevista larga para un filme documental que en parte se trataba 
acerca de la IA. Conozco lo que ha escrito y dicho acerca de los peligros 
de la IA, y no es mucho. 

Sin embargo, sorpresivamente, fue el responsable indirecto del 
ensayo cautelar más convincente sobre el tema: “Por qué el futuro no nos 
necesita”, de Bill Joy. En él, Joy, programador, arquitecto computacional 
y cofundador de Sun Microsystems exhorta a que se reduzca en velocidad 
e incluso se frene el desarrollo de tres tecnologías que cree que son 
demasiado mortales como para continuar al ritmo actual: la inteligencia 
artificial, la nanotecnología y la biotecnología. Joy se sintió motivado a 
escribirlo tras una conversación aterrorizante con Kurzweil en un bar, 
seguida por su lectura de La era de las máquinas espirituales. En literatura 
no académica y en conferencias acerca de los peligros de la IA, creo que 
sólo las tres leyes de Asimov son citadas más frecuentemente, aunque sea 
de manera errónea, que el ensayo altamente influyente de Joy. Este 
párrafo resume su postura ante la IA: 


Pero ahora, con el prospecto del poder computacional de nivel 
humano en unos treinta años, se presenta una nueva idea: que 
puedo estar trabajando para crear herramientas que permitirán la 
construcción de la tecnología que puede reemplazar a nuestra 
especie. ¿Cómo me siento al respecto? Muy incómodo. Tras haber 
luchado durante mi carrera entera por construir sistemas confiables 
de software, me parece más que probable que este futuro no 
funcionará tan bien como algunas personas podrían haber 
imaginado. Mi experiencia personal me da a entender que tendemos 
a sobreestimar nuestras habilidades para el diseño. Dado el poder 
increíble de estas nuevas tecnologías, ¿no nos deberíamos estar 
preguntando cómo podremos coexistir con ellas de la mejor 
manera? Y si nuestra propia extinción es un resultado probable, o 


incluso posible, de nuestro desarrollo tecnológico, ¿no deberíamos 
proceder con gran precaución? 


La plática en el bar con Kurzweil podría dar inicio a un diálogo 
nacional, pero sus escasas palabras de advertencia se pierden en medio 
de la emoción de sus predicciones. Insiste en que no está pintando una 
visión utópica del mañana, pero no creo que haya ninguna duda de que 
lo está haciendo. 

Pocos escriben con mayor conocimiento o de manera más 
persuasiva respecto a la tecnología que Kurzweil; se esfuerza para darse a 
entender con claridad, y defiende su mensaje con humildad. Sin 
embargo, pienso que ha cometido un error al apropiarse del nombre 
“singularidad” y darle un significado nuevo y optimista. Tan optimista 
que yo, al igual que Vinge, encuentro aterrorizante la definición, repleta 
de imágenes persuasivas y de ideas que encubren su peligro. Su cambio 
de imagen minimiza el peligro de la IA e infla de más la promesa. Al 
partir de un planteamiento tecnológico, Kurzweil ha creado un 
movimiento cultural con fuertes alusiones religiosas. Pienso que mezclar 
el cambio tecnológico con la religión es un gran error. 


Imagine un mundo en el que la diferencia entre el hombre y la 
máquina se hace borrosa, donde la línea entre la humanidad y la 
tecnología se desvanece, y donde el alma y el chip de silicio se 
unen... En las manos inspiradas [de Kurzweil], la vida en el nuevo 
milenio ya no parece descorazonadora. Por el contrario, el siglo XXI 
de Kurzweil promete ser una era en la que el matrimonio de la 
sensibilidad humana y la inteligencia artificial fundamentalmente 
altera y mejora la manera en que vivimos. 


Kurzweil no sólo es el padrino de los asuntos de la Singularidad, un 
polemizador cortés e implacable y un promotor incansable, aunque hasta 
cierto punto mecánico. Es el amo de muchos hombres jóvenes, y algunas 
mujeres, que viven al filo de la singularidad. Los singularitarianos 
tienden a tener entre veintitantos y treinta y tantos años, ser hombres y 
no tener hijos. En su mayoría, son chicos caucásicos inteligentes que han 
escuchado el llamado de la Singularidad. Muchos han respondido al dejar 
los tipos de carrera que hubieran enorgullecido a sus padres para adoptar 
vidas monásticas dedicadas a asuntos relacionados con la Singularidad. 
Muchos son autodidactas, probablemente en parte porque ningún 
programa universitario ofrece una especialización en ciencias 


computacionales, ética, bioingeniería, neurociencia, psicología y filosofía 
o, en resumen, en estudios de la Singularidad. (Kurzweil confundó la 
Universidad de la Singularidad, que no ofrece títulos y no está 
acreditada. Pero promete “un entendimiento amplio e interdisciplinario 
de las ideas y los asuntos más grandes en cuanto a tecnologías 
transformativas.”) De todas formas, muchos Singularitarianos son 
demasiado inteligentes y demasiado autodirigidos como para formarse en 
una fila para recibir educación tradicional. Y muchos son personas 
confundidas con puntos de vista extremos que pocas facultades o 
universidades invitarían a su campus. 

Algunos Singularitarianos han adoptado la racionalidad como el 
principio más importante de su credo. Creen que las mejores habilidades 
de lógica y razonamiento, en especial entre quienes tomarán decisiones 
el día de mañana, reducen las probabilidades de que cometamos suicidio 
por medio de la IA. Nuestros cerebros, alegan, están llenos de prejuicios 
extraños y cuestiones heurísticas que nos funcionaron bien durante 
nuestra evolución, pero que nos meten en problemas al ser confrontados 
por los complejos riesgos y decisiones del mundo moderno. Su enfoque 
principal no es una Singularidad catastrófica y negativa, sino dichosa y 
positiva. En ella, podremos aprovechar las tecnologías para prolongar la 
vida que nos permitan vivir más y más, probablemente en forma 
mecánica más que biológica. En otras palabras, límpiese para retirar el 
pensamiento incorrecto y podrá encontrar la forma de liberarse del 
mundo de la carne y descubrir la vida eterna. 

No es sorprendente que la Singularidad con frecuencia sea llamada 
el Éxtasis de los Geeks; como movimiento tiene los sellos distintivos de 
una visión apocalíptica, incluyendo rituales de purificación, el hecho de 
rehuir a los frágiles cuerpos humanos, el vaticinio de la vida eterna y un 
líder carismático (hasta cierto punto) sin oposición. Estoy completamente 
de acuerdo con la idea Singularitariana de que la IA es la cosa más 
importante en la que deberíamos estar pensando ahora. Pero en lo que 
respecta a la plática sobre inmortalidad, me deslindo. Los sueños acerca 
de la vida eterna lanzan un campo de distorsión poderoso. Demasiados 
Singularitarianos creen que la confluencia de tecnologías que en este 
momento se aceleran no dará lugar a los tipos de desastres que 
podríamos anticipar de cualquiera de ellas individualmente, ni a los 
desastres conjuntos que también podríamos prever, sino que en vez de 
ello hará algo distinto, en una medida de 180 grados. Salvar a la 
humanidad de aquello que más teme. La muerte. 

¿Pero cómo puede usted evaluar de manera competente las 


herramientas, o si su desarrollo debería ser regulado y cómo debería 
hacerse esto, si cree que estas mismas herramientas le permitirán vivir 
para siempre? Ni siquiera las personas más racionales del mundo tienen 
una habilidad mágica para evaluar sus propias religiones sin 
apasionamientos. Y, como lo alega el erudito William Grassie, cuando 
usted está haciendo preguntas respecto a la transfiguración, a unos 
cuantos elegidos y a la vida eterna, ¿de qué está hablando, si no es de 
religión? 


¿La Singularidad conducirá hacia el reemplazo de la humanidad por 
máquinas espirituales? ¿O la Singularidad conducirá a la 
transfiguración de la humanidad en superhumanos que vivirán para 
siempre en un paraíso hedonista y racionalista? ¿La Singularidad 
estará precedida por un período de tribulación? ¿Habrá unos pocos 
elegidos que sepan los secretos de la Singularidad, una vanguardia, 
quizá algún remanente que logre llegar a la Tierra Prometida? 
Todos estos temas religiosos están presentes en la retórica y las 
racionalidades de los Singularitarianos, a pesar de que las 
interpretaciones pre y post milenialistas no estén desarrolladas 
consistentemente, como definitivamente es el caso con los 
movimientos mesiánicos precientíficos. 


A diferencia de los puntos de vista de Good y Vinge respecto al 
futuro que se acelera, la Singularidad de Kurzweil no está propiciada sólo 
por la inteligencia artificial, sino por tres tecnologías que avanzan hasta 
puntos de convergencia: ingeniería genética, nanotecnología y robótica, 
un término amplio que usa para describir la IA. Además, a diferencia de 
Good y Vinge, Kurzweil ha desarrollado una teoría unificada de 
evolución tecnológica que, al igual que cualquier teoría científica 
respetable, trata de explicar fenómenos observables y hacer predicciones 
respecto a fenómenos futuros. Se llama la ley de rendimientos acelerados, 
O LDRA. 

En primera, Kurzweil plantea que una curva exponencial lisa 
gobierna los procesos evolutivos y que el desarrollo de la tecnología es 
uno de esos procesos evolutivos. Al igual que la evolución biológica, la 
tecnología desarrolla una capacidad, y luego utiliza esa capacidad para 
evolucionar hasta la siguiente etapa. En los humanos, por ejemplo, los 
cerebros grandes y los pulgares oponibles permitieron crear herramientas 
y tener ese poder de agarrar que se necesita para utilizar nuestras 
herramientas de manera eficaz. En cuanto a tecnología, la imprenta 


contribuyó a la encuadernación de libros, la alfabetización y el 
surgimiento de universidades y más inventos. La máquina de vapor fue 
aprovechada por la Revolución Industrial, y más y más inventos. 

Por su manera de construir a partir de lo que ya existe en ella, la 
tecnología empieza despacio, pero luego su curva de crecimiento se 
inclina hasta que se dispara hacia arriba casi verticalmente. De acuerdo 
con las gráficas y tablas que son los sellos distintivos de Kurzweil, 
estamos entrando en el período más crítico de la evolución tecnológica, 
la parte muy inclinada hacia arriba, la “rodilla de la curva exponencial.” 
Y a partir de aquí todo va para arriba. 

Kurzweil desarrolló su ley de los rendimientos acelerados para 
describir la evolución de cualquier proceso en el que evolucionan 
patrones de información. Aplica la LDRA a la biología, la cual favorece el 
orden molecular creciente, pero es más convincente cuando se usa para 
anticipar el ritmo del cambio en las tecnologías de la información, 
incluyendo computadoras, cámaras digitales, Internet, computación de 
nube, diagnósticos y equipo para tratamientos médicos, y cualquier 
tecnología involucrada en el almacenado y la recuperación de 
información. 

Como lo hace notar Kurzweil, la LDRA es fundamentalmente una 
teoría económica. Los rendimientos acelerados son impulsados por la 
innovación, la competencia, el tamaño del mercado, las características 
del mercado y de quienes manufacturan. En el mercado de 
computadoras, el efecto es descrito por la ley de Moore, otra teoría 
económica disfrazada de teoría tecnológica, primero observada en 1965 
por el cofundador de Intel, Gordon Moore. 

La ley de Moore afirma que la cantidad de transistores que pueden 
ser colocados en un circuito integrado para construir un microprocesador 
se duplica cada dieciocho meses. Un transistor es un interruptor de 
encendido/apagado que también puede amplificar una carga eléctrica. 
Más transistores significan más velocidad de procesamiento, así como 
computadoras más veloces. La ley de Moore significa que las 
computadoras se volverán más pequeñas, más poderosas y más 
económicas a un ritmo estable. Esto no pasa porque la ley de Moore sea 
una ley natural del mundo físico, como la gravedad o la segunda ley de 
la termodinámica. Pasa porque los mercados de consumo y negocios 
motivan a los creadores de chips de computadoras a competir y 
contribuir a crear computadoras, teléfonos inteligentes, cámaras, 
impresoras, paneles solares e impresoras en tercera dimensión más 
veloces, más rápidas y más económicas. Y los creadores de chips están 


construyendo a partir de las tecnologías y técnicas del pasado. En 1971, 
2,300 transistores podían imprimirse en un chip. Cuarenta años, o veinte 
duplicaciones más tarde, 2,600,000,000. Más de dos millones de esos 
transistores podrían caber en el punto que viene al final de esta frase, y 
con ellos llegó la velocidad incrementada. 

He aquí un caso dramático para ejemplificar. John Dongarra, un 
investigador en el Oak Ridge National Lab de Tennessee y parte de un 
equipo que rastrea la velocidad de las supercomputadoras, determinó que 
la tableta de Apple que mejor se vende, el iPad 2, es tan rápido como una 
supercomputadora Cray 2 de alrededor de 1985. De hecho, al avanzar a 
más de 1.5 gigaflops (un gigaflop equivale a mil millones de operaciones 
matemáticas o cálculos por segundo), el iPad 2 hubiera quedado en la 
lista de las quinientas supercomputadoras más rápidas del mundo incluso 
tan recientemente como en 1994. 

En 1994, ¿quién se hubiera imaginado que en menos de una 
generación más tarde una supercomputadora más pequeña que un libro 
de texto llegara a ser lo suficientemente económica como para darse 
gratuitamente a los estudiantes de preparatoria y, lo que es más, que se 
fuera a conectar con la totalidad del conocimiento de la humanidad, sin 
cables? Sólo Kurzweil hubiera sido así de atrevido y, aunque no hizo esta 
afirmación exacta con respecto a las supercomputadoras, sí anticipó la 
explosión de Internet. 

En cuanto a tecnologías de información, cada avance empuja al 
siguiente avance para que ocurra más rápido; la curva de la que 
hablamos se vuelve más inclinada. Así que al tomar en cuenta el iPad 2, 
la pregunta no es qué podremos esperar dentro de los próximos quince 
años... por el contrario, espere a ver lo que sucede en una fracción de ese 
tiempo. Para 2020, aproximadamente, Kurzweil calcula que tendremos 
computadoras portátiles con el poder de procesamiento bruto de los 
cerebros humanos, aunque no con esa inteligencia. 

Veamos cómo puede aplicarse la ley de Moore a la explosión de la 
inteligencia. Si damos por hecho que la IAG puede alcanzarse, la ley de 
Moore da a entender que la automejora recursiva de una explosión de la 
inteligencia puede ni siquiera ser necesaria para alcanzar la SIA, o la 
inteligencia sobrehumana. Eso es porque una vez que usted haya 
alcanzado la IAG, menos de dos años después, las máquinas de nivel 
humano de inteligencia van a haber duplicado su velocidad. Luego, en 
menos de dos años, se habrá duplicado otra vez. Entre tanto, la 
inteligencia humana promedio se mantendrá igual. Pronto la IAG nos 
habrá dejado atrás. 


Y si la inteligencia empieza a participar en su propia modificación, 
¿entonces qué pasa? Eliezer Yudkowsky describe lo rápidamente que el 
ritmo del progreso tecnológico después de la IAG puede salirse de 
nuestras manos. 

Si la velocidad de la computación se duplica cada dos años, ¿qué 
sucede cuando las IAs basadas en computadoras estén haciendo las 
investigaciones? 


La velocidad de computación se duplica cada dos años. 

La velocidad de computación se duplica cada dos años de trabajo. 
La velocidad de computación se duplica cada dos años subjetivos de 
trabajo. 

Dos años después de que las Inteligencias Artificiales alcancen una 
equivalencia humana, su velocidad se duplica. 

Un año después, su velocidad se duplica de nuevo. 

Seis meses—tres meses—1.5 meses... Singularidad. 


Algunos alegan que la ley de Moore se detendrá antes de 2020, 
cuando se vuelva físicamente imposible hacer que quepan más 
transistores en un circuito integrado. Otros piensan que la ley de Moore 
dará pie a duplicaciones más rápidas cuando los procesadores se sometan 
a modificaciones tecnológicas, en las que se usen componentes más 
pequeños para realizar cálculos, como átomos, fotones de luz o incluso 
ADN. Los chips de procesadores 3-D desarrollados por la École 
Polytechnique Fédérale de Lausanne después podrían ser los primeros en 
vencer la ley de Moore. Aunque todavía no están en producción, los chips 
procesadores de EPFL están apilados verticalmente en lugar de 
horizontalmente, y serán más rápidos y más eficientes que los chips 
tradicionales, además de estar listos para procesar en paralelo. Y la 
compañía que Gordon Moore cofundó puede ya haber comprado más 
tiempo para su ley con la creación de los primeros transistores 3-D. 
Recuerde que los transistores son interruptores eléctricos. Los transistores 
tradicionales trabajan al regular la corriente eléctrica que se mueve a 
través de dos dimensiones. Los nuevos transistores Tri-Gate de Intel 
conducen la corriente a través de tres dimensiones, con un incremento en 
velocidad del 30 por ciento y un ahorro hasta de 50 por ciento en cuanto 
a energía. Mil millones de transistores Tri-Gate estarán en cada uno de 
los chips procesadores de la próxima línea de Intel. 

Dado que imprimir transistores en silicio es algo que está 
involucrado con muchas tecnologías de la información, desde cámaras 


hasta sensores médicos, la ley de Moore se aplica a ellos también. Pero 
Moore teorizaba sobre circuitos integrados, no sobre los múltiples 
mundos relacionados de la tecnología de la información que incluyen 
tanto productos como procesos. Así, la ley más general de Kurzweil, la 
ley de los rendimientos acelerados, queda mejor. Y más tecnologías se 
están convirtiendo en tecnologías de la información, conforme las 
computadoras e incluso los robots se involucran cada vez más 
íntimamente con cada aspecto del diseño, la manufactura y las ventas del 
producto. Considere que la manufactura de cada teléfono inteligente — 
no sólo su chip procesador— sacó provecho de la revolución digital. 
Apenas han pasado seis años desde que salió por primera vez el iPhone 
de Apple, y Apple ha lanzado seis versiones. Apple ha hecho algo más 
que duplicar su velocidad y para la mayoría de los usuarios redujo el 
precio a la mitad, o hizo algo mejor. Eso es porque la velocidad del 
hardware se ha estado duplicando con regularidad en lo tocante a los 
componentes que están dentro del producto final. Pero también se ha 
estado duplicando en cada eslabón de la cadena de producción que llevó 
hasta su creación. 

Los efectos previstos por la LDRA llegan más allá de los negocios de 
las computadoras y los teléfonos inteligentes. Recientemente, el 
cofundador de Google, Larry Page, se reunió con Kurzweil para hablar 
acerca del calentamiento global, y cuando se despidieron estaban 
optimistas. En veinte años, aseguraron, la nanotecnología permitirá que 
la energía usada por el sol sea más económica que el petróleo o el 
carbón. La industria podrá brindarle a la tierra el 100 por ciento de sus 
necesidades energéticas. Mientras que la energía solar sólo proporciona 
la mitad de uno por ciento de los requerimientos energéticos del mundo 
en la actualidad, ellos calculan que ese ritmo se está duplicando cada dos 
años, pues así ha sido durante los últimos veinte años. Así, en dos años 
más, la energía solar será responsable del 1 por ciento de los 
requerimientos energéticos del mundo; en cuatro años, del 2 por ciento, y 
en dieciséis años más, habrá ocho duplicaciones más, o dos a la octava 
potencia, lo cual equivaldría al 256 por ciento de los requerimientos 
energéticos del mundo. Incluso al considerar incrementos en población y 
demandas energéticas de aquí a dos décadas, eso debería ser suficiente 
energía solar para cubrirlas y hasta sobraría. Por lo tanto, de acuerdo con 
Kurzweil y Page, el calentamiento global se solucionará. 

Lo mismo sucederá con la mortalidad. De acuerdo con Kurzweil, los 
medios para prolongar la vida indefinidamente ya casi están a nuestro 
alcance. 


“Ahora tenemos los medios reales para comprender el software de 
la vida y  reprogramarlo, podemos apagar genes sin ninguna 
interferencia, podemos agregar nuevos, órganos enteros por medio de 
terapia de células madre,” dijo Kurzweil. “El punto es que la medicina 
ahora es una tecnología de la información, va a duplicar su poder cada 
año. Estas tecnologías serán un millón de veces más poderosas por el 
mismo costo dentro de veinte años.” 

Kurzweil cree que la ruta más corta hasta la IAG es realizar 
ingeniería inversa del cerebro: escanearlo de modo intrincado hasta 
obtener una colección de circuitos basados en el cerebro. Representados 
en algoritmos o en redes de hardware, estos circuitos entonces serán 
encendidos en una computadora, como un cerebro sintético unificado al 
que se le enseñará todo lo que necesite saber. Varias organizaciones están 
trabajando en proyectos para lograr este camino hacia la IAG. 
Discutiremos algunos enfoques y obstáculos más adelante. 
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El ritmo evolutivo del hardware necesario para hacer funcionar un 
cerebro virtual requiere ser inspeccionado más de cerca. Empecemos con 
el cerebro humano y vayamos después hacia las computadoras que 
pudieran emularlo. Kurzweil escribe que el cerebro tiene alrededor de 
100 mil millones de neuronas, cada una conectada con unas mil más. 
Esto produce alrededor de 100 billones de conexiones interneuronales. 
Cada conexión es capaz de hacer unos 200 cálculos por segundo (los 
circuitos electrónicos son cuando menos 10 millones de veces más 
rápidos). Kurzweil multiplica las conexiones internas del cerebro por sus 
cálculos por segundo y obtiene 20 millones de bloques de mil millones 
por segundo, ó 20,000,000,000,000,000. 

El título a la supercomputadora más veloz cambia de manos casi 
cada mes, pero ahora la que domina es la Sequoia del Departamento de 
Energía, con más de dieciséis  petaflops. Eso significa 
16,000,000,000,000,000 cálculos por segundo, o aproximadamente 80 
por ciento de la velocidad de la mente humana, de acuerdo a los cálculos 
de Kurzweil del 2000. Pero para 2005, cuando salió La Singularidad se 
acerca, Kurzweil había reducido su cálculo de velocidad cerebral de 
veinte a dieciséis petaflops, y calculó que una supercomputadora podría 
alcanzar esto para 2013. Sequoia lo logró un año antes. 

¿Estamos tan cerca del poder cerebral de fuerza bruta? Los números 
pueden ser engañosos. Los cerebros son procesadores paralelos y 


destacan en cuanto a algunos trabajos, mientras que las computadoras 
operan en serie y destacan en cuanto a otros. Los cerebros son lentos y 
trabajan en momentos de actividad neuronal elevada. Las computadoras 
pueden procesar más rápido y durante más tiempo, incluso 
indefinidamente. 

Pero los cerebros humanos siguen siendo nuestro único ejemplo de 
inteligencia avanzada. Si la “fuerza bruta” puede competir, las 
computadoras tendrán que desempeñar proezas cognitivas 
impresionantes. Pero considere unos cuantos de los sistemas complejos 
que las supercomputadoras de hoy modelan de manera rutinaria: 
sistemas climáticos, detonaciones nucleares en 3D y dinámicas 
moleculares para la manufactura. ¿El cerebro humano contiene una 
magnitud similar de complejidad, o un orden de magnitud mayor? De 
acuerdo con todas las indicaciones, está en el mismo rango. 

Quizá, como dice Kurzweil, conquistar el cerebro humano es algo 
que está a la vuelta de la esquina, y los próximos treinta años de ciencia 
computacional serán como ciento cuarenta debido al ritmo del progreso 
de hoy. Considere además que crear IAG también es una tecnología de la 
información. Con la velocidad de las computadoras incrementada 
exponencialmente, los investigadores de IA pueden realizar su trabajo 
más rápido. Esto significa escribir algoritmos más complejos y algoritmos 
que requieran mucho procesamiento, hacer frente a problemas 
computacionales más complejos y llevar a cabo más experimentos. Las 
computadoras más rápidas contribuyen a tener una industria de la IA 
más fuerte, lo cual a su vez da pie a más investigadores en computación y 
a herramientas más rápidas y más útiles para alcanzar la IAG. 

Kurzweil escribe que después de que los investigadores produzcan 
una computadora capaz de pasar la prueba de Turing para 2029, las 
cosas se acelerarán hasta más. Pero no predice una Singularidad total 
sino hasta dieciséis años después, en 2045. Luego el ritmo del avance 
tecnológico excederá la habilidad de nuestros cerebros para guiarla. Por 
lo tanto, alega, deberemos acrecentarla para seguirle el paso. Esto 
significa conectar tecnologías estimuladoras del cerebro directamente a 
nuestro sistema de neurocircuitos, en la misma forma en que los 
implantes cocleares de hoy se conectan a los nervios auditivos para 
ayudar a quienes tienen dificultades para escuchar. Despertaremos esas 
conexiones interneuronales lentas y pensaremos más rápido y más 
profundamente al tiempo de recordar más. Tendremos acceso a toda la 
sabiduría humana y, de manera similar a las computadoras, 
instantáneamente podremos compartir ¡nuestros ¡pensamientos y 


experiencias con los demás, al tiempo de experimentar los de ellos. 
Finalmente la tecnología nos permitirá llevar nuestros cerebros hasta un 
medio más perdurable que el tejido cerebral, o subiremos nuestras 
mentes a las computadoras al tiempo de preservar las cualidades que 
hacen que seamos nosotros. 

Este esbozo del futuro da por hecho, desde luego, que el usted que 
hay en usted, su ser, es transportable, y esa es una enorme suposición. 
Pero para Kurzweil, éste es el camino a la inmortalidad y hacia una 
amplitud de sabiduría y experiencia que va más allá de lo que 
actualmente podemos comprender. El acrecentamiento de la inteligencia 
sucederá tan gradualmente que pocos lo  rechazarán. Pero 
“sradualmente” significa que ocurrirá para 2045, es decir a lo largo de 
los siguientes treinta años, aproximadamente, y la vasta mayoría del 
cambio ocurrirá más o menos en la última media década. ¿Es eso 
gradual? No lo creo. 

Como lo señalamos antes, Apple lanzó seis versiones del iPhone en 
seis años. De acuerdo con la ley de Moore, su hardware estaba lo 
suficientemente avanzado como para atravesar dos o más duplicaciones 
en ese tiempo, y sin embargo sólo atravesó por una. ¿Por qué? Por el 
tiempo de rezago que requirieron el desarrollo, la creación de prototipos 
y la manufactura de los componentes del iPhone, incluyendo su 
procesador, su cámara, su memoria, su almacenamiento, su pantalla y 
demás, seguidos por el marketing y la venta del iPhone en sí. 

¿El tiempo de rezago que va del marketing hasta las ventas alguna 
vez desaparecerá? Quizá algún día el hardware, al igual que el software, 
se actualice a sí mismo automáticamente. Pero eso probablemente no 
suceda hasta que la ciencia haya dominado la nanotecnología o hasta que 
la impresión en 3D se vuelva ubicua. Y cuando estemos actualizando 
componentes de nuestro propio cerebro, en vez de poner al día el 
programa Office de Microsoft o comprar algunos chips de RAM, será un 
procedimiento mucho más delicado que nada que hayamos 
experimentado antes, cuando menos al principio. 

Y sin embargo Kurzweil asevera que en este siglo experimentaremos 
200,000 años de progreso tecnológico en cien años calendario. 
¿Podremos tolerar tanto progreso que venga tan rápido? 

Nicholas Carr, autor de Superficiales, alega que los teléfonos 
inteligentes y las computadoras están reduciendo la calidad de nuestros 
pensamientos y cambiando la forma de nuestro cerebro. En su libro 
Virtualmente tú, el psiquiatra Elias Aboujaoude advierte que usar redes 
sociales y juegos donde se interpretan roles propicia una gama de 


padecimientos, incluyendo narcisismo y egocentrismo. La inmersión en la 
tecnología debilita la individualidad y el carácter, plantea el 
programador que fue pionero de la realidad virtual, Jaron Lanier, autor de 
Contra el rebaño digital: Un manifiesto. Estos expertos advierten que 
efectos perjudiciales provienen de computadoras que están afuera de 
nuestro cuerpo. Y sin embargo Kurzweil plantea que sólo cosas buenas 
provendrán de computadoras que estén dentro de nuestro cuerpo. Pienso 
que es inverosímil esperar que cientos de miles de años de evolución den 
un giro completo en treinta años y que podamos ser reprogramados para 
adorar una existencia que será tan distinta a la de las vidas en las que 
hemos encajado gracias a la evolución. 

Es más probable que los humanos se decidan por un ritmo de 
cambio que puedan manejar y controlar. Cada uno podría elegir algo 
distinto, y muchas personas podrían decidirse por ritmos similares, tal y 
como se deciden por estilos similares de ropa, coches y computadoras. 
Sabemos que la ley de Moore y la LDRA son leyes económicas más que 
deterministas. Si suficiente gente con suficientes recursos quiere acelerar 
artificialmente su cerebro, creará cierta demanda. Sin embargo, creo que 
Kurzweil está sobrestimando grandemente el interés de las personas del 
futuro por el pensamiento más veloz y la vida más larga. De todos modos 
no creo que una Singularidad repleta de deleites, como él la define, vaya 
a estar disponible. La IA desarrollada sin suficientes medidas de 
seguridad lo impedirá. 

La búsqueda por crear IAG es imparable y probablemente 
ingobernable. Y por las dinámicas de duplicación expresadas en la LDRA, 
la TAG tomará el escenario mundial (y realmente quiero decir que lo 
tomará) mucho más pronto de lo que pensamos. 


CAPÍTULO DIEZ 


EL SINGULARITARIANO 


En contraste con nuestro intelecto, las computadoras duplican su 
desempeño cada dieciocho meses. Así que el peligro de que 
pudieran desarrollar inteligencia y apoderarse del mundo es real. 


Stephen Hawking, físico 


Dentro de treinta años, tendremos los medios tecnológicos para 
crear inteligencia sobrehumana. Poco después, la era de los 
humanos terminará. ¿Es evitable semejante progreso? Si no se va a 
evitar, ¿pueden guiarse los sucesos de manera que podamos 
sobrevivir? 


Vernor Vinge, autor, profesor, científico de la computación 


Cada año desde 2005, el Instituto de Investigación sobre Inteligencia de 
las Máquinas, anteriormente conocido como el Instituto de la 
Singularidad para Inteligencia Artificial, ha realizado una Cumbre de la 
Singularidad. A lo largo de dos días, una alineación de oradores habla 
ante unas mil personas que están de acuerdo acerca del panorama amplio 
de la Singularidad: su impacto sobre los empleos y la economía, la salud 
y la longevidad, y sus implicaciones éticas. Los oradores en la cumbre de 
2011 en la ciudad de Nueva York incluyeron a leyendas de la ciencia, 
como Stephen Wolfram de Mathematica, Peter Thiel, un multimillonario 
en la industria de Internet que le paga a adolescentes conocedores de la 
tecnología para que en vez de ir a la universidad pongan compañías en 
marcha, y David Ferrucci, el investigador principal del proyecto 
DeepQA/Watson. Eliezer Yudkowsky siempre da unas palabras y 
generalmente hay un experto en ética o dos, así como voceros de las 
comunidades extropianas y transhumanas. Los extropianos exploran 
tecnologías y terapias que les permitirán a los humanos vivir para 
siempre. Los transhumanos piensan acerca del hardware y de maneras 
cosméticas para incrementar las capacidades humanas, la belleza y... las 
oportunidades de vivir para siempre. Todas las facciones las atraviesa el 
Coloso de la Singularidad, un cofundador de las Cumbres de la 
Singularidad y la estrella de cada reunión, Ray Kurzweil. 

El tema de la cumbre de 2011 era la computadora Watson tipo 
DeepQA (respondedora de preguntas, por sus siglas en inglés) de IBM, y 
Kurzeil dio una presentación memorizada sobre la historia de los chatbots 
y los sistemas de preguntas y respuestas, titulada “Desde Eliza hasta 
Watson.” Pero a la mitad de la plática se reanimó y despedazó un ensayo 
torpe que tenía como autor al cofundador de Microsoft, Paul Allen y que 
atacaba su hipótesis de la Singularidad. 

Kurwzeil no se veía especialmente bien —delgado, un poco 
titubeante, más callado que de costumbre. No es el tipo de orador que se 
devore el escenario o que sorprenda con sus puntadas. Por el contrario, 
tiene una manera de hablar suave y robótica, del tipo que parece estar 
designada para negociaciones con rehenes o cuentos para la hora de 
dormir. Pero funciona bien al contrastar con las cosas ocasionalmente 
revolucionarias que dice. En una época en que los multimillonarios de 


empresas de Internet dan presentaciones con jeans planchados, Kurzweil 
usa pantalones cafés como los de su tío, con mocasines decorados con 
borlas, un saco deportivo y anteojos. No es ni corpulento ni pequeño, 
pero recientemente ha empezado a verse viejo, especialmente en 
comparación con el Kurzweil vigoroso que recuerdo. Tenía apenas 
cincuenta y dos años o algo así la última vez que lo entrevisté, y no había 
empezado la dieta de restricción intensa de calorías que ahora es parte de 
su plan para reducir la velocidad de su envejecimiento. Con un régimen 
preciso de dieta, ejercicio y suplementos, Kurzweil planea ahuyentar a la 
muerte hasta que la tecnología encuentre la cura que está seguro que 
vendrá. 

“Soy un optimista. Como inventor, lo tengo que ser.” 

Después de su plática, Kurzweil y yo nos sentamos rodilla con 
rodilla en sillas de metal en un pequeño vestidor que estaba un piso 
arriba del escenario. El equipo de filmación de un documental estaba 
esperando afuera para estar un rato con él después que yo. Justo una 
década atrás, cuando había sido un inventor y autor semifamoso, yo lo 
había monopolizado durante tres horas disfrutables con mi propio equipo 
de filmación; ahora él era una industria compuesta por un sólo hombre 
que me prestaría su atención durante el tiempo que yo pudiera mantener 
cerrada la puerta. Yo también era diferente—durante nuestro primer 
encuentro había estado patitieso ante la idea de trasladar mi cerebro 
hacia una computadora, como se describe en Máquinas espirituales. Mis 
preguntas eran tan rigurosas como burbujas de champaña. Ahora soy más 
cínico y tengo mayor sensatez ante los peligros que ya no le interesan al 
propio maestro. 

“Hablo bastante acerca del peligro en La Singularidad está cerca, 
protestó Kurzweil cuando le pregunté si había sobrevendido la promesa 
de la Singularidad y minimizado sus peligros. “El capítulo ocho es la 
promesa y el peligro que están profundamente entrelazados en la GNR 
(genética, nanotecnología y robótica) y entro en detalle bastante gráfico 
respecto a las desventajas de esas tres áreas de la tecnología. Y la 
desventaja de la robótica, que en realidad se refiere a la IA, es la más 
profunda porque la inteligencia es el fenómeno más importante en el 
mundo. Inherentemente, no hay protección absoluta contra la IA fuerte.” 

El libro de Kurzweil sí subraya los peligros de la ingeniería genética 
y la nanotecnología, pero sólo dedica un par de páginas anémicas a la IA 
fuerte, el antiguo nombre de la IAG. Y en ese capítulo también alega que 
la renuncia, o darle la espalda a algunas tecnologías porque son 
demasiado peligrosas, como lo proponen Bill Joy y otros, no sólo es una 


” 


mala idea, sino que es inmoral. Estoy de acuerdo con que la renuncia es 
no factible, pero ¿inmoral? 

“La renuncia es inmoral porque nos priva de beneficios profundos. 
Todavía tendríamos mucho sufrimiento al que podemos sobreponernos y 
por lo tanto tenemos una obligación moral de hacerlo. En segunda, la 
renuncia requeriría un sistema totalitario que prohibiera la tecnología. Y 
en tercer lugar está lo más importante, que no funcionaría. Simplemente 
haría que las tecnologías se fueran hacia un ámbito clandestino donde 
profesionales irresponsables no tendrían entonces ninguna limitación. Los 
científicos responsables que están a cargo de desarrollar estas defensas no 
tendrían acceso a las herramientas para hacer eso. Y de hecho sería más 
peligroso.” 

Kurzweil está criticando lo que se llama el principio de precaución, 
una propuesta que salió a partir del movimiento ambiental, la cual al 
igual que la renuncia, es el tema fácil de rebatir en esta conversación. 
Pero es importante explicar el principio y ver por qué no tiene peso. El 
principio de precaución afirma: “Si las consecuencias de una acción son 
desconocidas, pero algunos científicos juzgan que puedan tener incluso 
un pequeño riesgo de ser profundamente negativas, es mejor no llevar a 
cabo la acción que arriesgarse a consecuencias negativas.” El principio no 
se aplica frecuente ni estrictamente. Detendría cualquier tecnología 
supuestamente peligrosa si “algunos científicos” le temieran, incluso si no 
pudieran señalar la cadena causal que conduciría hacia el resultado que 
temieran. 

Al aplicarse a la IAG, el principio de la precaución y la renuncia no 
tiene posibilidades de éxito. A menos que ocurriera un accidente 
catastrófico en el camino hacia la IAG que nos asustara tanto que 
cambiáramos de rumbo, ninguna de las medidas es aplicable. Los mejores 
proyectos corporativos y gubernamentales de IAG buscarán la ventaja 
competitiva de la discreción; ya lo hemos visto en compañías furtivas. 
Pocos países o corporaciones cederían esta ventaja, incluso si el 
desarrollo de la IAG se volviera ilegal. (De hecho, Google Inc. tiene el 
dinero y las influencias de un estado nación moderno, así que para darse 
una idea de lo que otros países harán, mantenga los ojos en Google.) La 
tecnología que se requiere para la IAG es ubicua y de propósitos 
múltiples, y cada vez se está volviendo más pequeña. Es difícil, por no 
decir imposible, vigilar su desarrollo. 

Pero que sea inmoral no desarrollar la TAG, como lo afirma 
Kurzweil, es otra cosa. En primera, los beneficios de la IAG serían 
formidables, pero sólo si vivimos lo suficiente como para disfrutarlos. Y 


eso es un sólo si bastante grande cuando el sistema está lo 
suficientemente avanzado como para propiciar una explosión de la 
inteligencia. Es problemático alegar, como lo hace Kurzweil, que los 
beneficios no comprobados tienen mayor peso que los riesgos no 
comprobados. Yo le había dicho que creo que es inmoral desarrollar 
tecnologías como la IAG sin simultáneamente educar a tantas personas 
como sea posible con respecto a los riesgos. Pienso que los riesgos 
catastróficos de la IAG, que ahora son aceptados por muchos 
investigadores consumados y respetados, están más establecidos que los 
supuestos beneficios de su Singularidad: sangre nanopurificada, cerebros 
mejores y más rápidos y la inmortalidad, para empezar. La única cosa 
cierta respecto la Singularidad es que describe un período en el cual, 
gracias al poder de la LDRA, tendremos computadoras rápidas e 
inteligentes incrustadas en cada faceta de nuestras vidas y de nuestros 
cuerpos. Entonces la inteligencia de máquinas, que es ajena, podrá 
competir con nuestra inteligencia original. Que nos guste o no es otro 
asunto. Si usted lee cuidadosamente a Kurzweil verá que los beneficios se 
acumulan principalmente aa raíz del  acrecentamiento, y el 
acrecentamiento es necesario para seguir el ritmo de cambio raudo y 
veloz. Como he alegado, creo que impulsará la respuesta negativa e 
incluso el rechazo ante lo tecnológico. 

Y eso ni siquiera es mi temor principal, porque no creo que siquiera 
lleguemos hasta allá. Pienso que seremos detenidos en el camino por 
herramientas demasiado poderosas como para ser controladas. Le dije 
esto a Kuzweil y él contraargumentó con alguna respuesta de cajón —el 
primer argumento optimista y antropomórfico que me había dado diez 
años atrás. 

“Tener una entidad que fuera muy inteligente y que por alguna 
razón estuviera empeñada en nuestra destrucción sería un escenario 
negativo. Pero usted tiene que preguntarse por qué habría semejante 
cosa. Antes que nada, yo sostendría que no somos nosotros contra las 
máquinas, porque las máquinas no están en una civilización separada. Es 
parte de nuestra civilización. Son herramientas que usamos y nos 
amplían, e incluso si nos convirtiéramos en las herramientas, seguiría 
siendo algo que evoluciona a partir de nuestra civilización. No es 
ninguna invasión alienígena de algunas máquinas llegadas de Marte. No 
nos vamos a preguntar cuáles son sus valores.” 

Como hemos discutido, suponer que la IAG será exactamente como 
nosotros es imputarle valores humanos a una máquina inteligente que 
obtuvo su inteligencia, y sus valores, de una manera muy distinta a la 


que nosotros lo hicimos. A pesar de las mejores intenciones de sus 
creadores, en la mayoría de las IAGs, si no es que en todas, una gran 
parte de cómo funciona el sistema será demasiado opaca y demasiado 
compleja como para que la podamos entender o predecir por completo. 
Ajena, inescrutable y finalmente esto: algunas IAGs serán creadas con la 
intención de matar humanos porque, no lo olvidemos, en los Estados 
Unidos, nuestras instituciones de defensa nacional están entre los 
inversionistas más activos. Debemos dar por hecho que esto también 
sucede en otros países. 

Estoy seguro de que Kurzweil ha considerado que la IAG no necesita 
estar diseñada con el objetivo de dañar a la humanidad para destruir a la 
humanidad, sino que simplemente ignorar a la AIG sería suficiente. Como 
lo advierte Steve Omohundro, sin programación cuidadosa, la IA 
avanzada poseerá motivaciones y objetivos que podríamos no compartir. 
Como dice Eliezer Yudkowsky, puede tener otros usos para nuestros 
átomos. Y, como lo hemos visto, la IA Amigable, la cual aseguraría el 
buen comportamiento de la primera IAG y toda su descendencia, es un 
concepto al que le falta recorrer un largo camino antes de estar listo. 

Kurzweil no le dedica mucho tiempo al concepto de la IA Amigable. 
“No podemos simplemente decir: “pondremos esta pequeña subrutina de 
código de software en nuestras IAs y eso las mantendrá seguras,” dice. 
“Quiero decir que realmente depende de cuáles sean los objetivos y las 
intenciones de esa inteligencia artificial.  Encaramos retos 
descorazonadores.” 

Considerar la IA No Amigable es algo apabullante para la mente; 
que la TAG sea diseñada con el objetivo de destruir a los enemigos, una 
realidad que pronto tendremos que enfrentar. “¿Por qué habría 
semejante cosa?,” pregunta Kurzweil. Porque docenas de organizaciones 
en los Estados Unidos la diseñarán y construirán, y también así lo harán 
nuestros enemigos en el extranjero. Si la IAG existiera hoy, no tengo 
duda de que pronto se implementaría en robots para el campo de batalla. 
DARPA puede insistir en que no hay nada de qué preocuparse, la IA 
fundada por DARPA sólo matará a nuestros enemigos. Sus creadores 
instalarán dispositivos de seguridad, mecanismos que contrarresten 
alguna posible falla prevista, interruptores que se activen si el operador 
humano estuviera incapacitado para ello y saludos de mano con claves 
secretas. Controlarán la superinteligencia. 

En diciembre de 2011, un iraní con una computadora portátil que 
estaba utilizando un programa sencillo para compartir archivos hizo que 
se cayera un vehículo aéreo no tripulado Sentinel. En julio de 2008, un 


severo ataque contra el Pentágono les dio a los invasores acceso sin 
trabas a 24,000 documentos clasificados. El anterior secretario de 
defensa adjunto William J. Lynn III le dijo a The Washington Post que 
cientos de ciberataques contra el Departamento de Defensa y los 
contratistas han tenido como resultado el robo de “nuestros sistemas más 
sensibles, incluyendo aviónica de aeronaves, tecnologías de vigilancia, 
sistemas de comunicaciones por satélite y protocolos de seguridad de 
redes.” La superinteligencia no se dejará ser contenida por nadie que no 
pueda hacer algo comparativamente tan sencillo como mantener fuera a 
los hackers humanos. 

Sin embargo, podemos obtener algunos conocimientos importantes 
a través de la historia del control de armas. Desde la creación de las 
armas nucleares, solamente los Estados Unidos las han usado contra un 
enemigo. Las potencias nucleares han logrado evitar la destrucción 
mutua garantizada. Ninguna potencia nuclear ha sufrido de detonaciones 
accidentales, hasta donde sabemos. El récord de manejo nuclear es bueno 
(aunque la amenaza no ha terminado). Pero aquí está mi opinión. Son 
demasiado pocas las personas que saben que necesitamos tener una 
conversación internacional continua respecto a la IAG, una que sea 
comparable con las que tenemos respecto a las armas nucleares. 
Demasiadas personas piensan que las fronteras de la IA están delineadas 
por buscadores inocuos, teléfonos inteligentes y ahora Watson. Pero la 
TAG es mucho más similar a las armas nucleares que a los videojuegos. 

La IA es una tecnología de “uso dual,” un término que se utiliza 
para describir tecnologías con aplicaciones tanto pacíficas como 
militares. Por ejemplo, la fisión nuclear puede dar energía a las ciudades 
o destruir a esas ciudades (o, en los casos de Chernobyl y Fukushima 
Daiichi, hacer las dos cosas secuencialmente). Los cohetes desarrollados 
durante la carrera espacial incrementaron el poder y la precisión de los 
misiles balísticos intercontinentales. La nanotecnología, la bioingeniería y 
la ingeniería genética son sumamente prometedoras en cuanto a 
aplicaciones que prolonguen la vida de los civiles, pero todas están 
preparadas para accidentes catastróficos y la explotación si se les dieran 
usos militares y terroristas. 

Cuando Kurzweil dice que es un optimista, no se refiere a que vaya 
a comprobarse que la IAG es inofensiva. Se refiere a que está resignado al 
acto de equilibrio que los humanos siempre han desempeñado con 
tecnologías potencialmente peligrosas. Y a veces los humanos se resbalan 
y caen. 

“Se habla mucho acerca del riesgo existencial,” dijo Kurzweil. “Me 


preocupa que sean más probables los episodios dolorosos. Ya sabe, 
sesenta millones de personas fueron asesinadas durante la Segunda 
Guerra Mundial. Eso indudablemente fue exacerbado por las 
herramientas destructivas poderosas que teníamos en ese entonces. 
Tengo bastante optimismo respecto que lograremos salir adelante. Tengo 
menos optimismo respecto a que podamos evitar episodios dolorosos.” 

“Hay una promesa irreducible versus el peligro, algo que data de las 
épocas del fuego. El fuego cocinaba nuestra comida pero también se 
usaba para quemar nuestros pueblos. La rueda se usa para el bien y el 
mal y todo lo que hay entre estos dos extremos. La tecnología es poder, y 
esta misma tecnología puede ser usada para diferentes propósitos. Los 
seres humanos hacen todo lo que existe bajo el sol, desde hacer el amor 
hasta pelear en guerras, y vamos a realzar todas esas actividades con 
nuestra tecnología que ya tenemos y esto va a continuar.” 

La volatilidad es ineludible y los accidentes son probables, es difícil 
disputarlo. Y sin embargo la analogía no queda bien; la IA avanzada no 
es similar al fuego en absoluto, ni tampoco a ninguna otra tecnología. 
Será capaz de pensar, planear y engañar a sus creadores. Ninguna otra 
herramienta hace nada parecido. Kurzweil cree que una manera de 
limitar los aspectos peligrosos de la IA, sobre todo la SIA, es combinarla 
con humanos a través del Aumento de la Inteligencia (el AD). Desde su 
silla de metal incómoda, el optimista dijo: “Como lo he señalado, la IA 
fuerte está surgiendo a partir de muy diversos esfuerzos y estará 
profundamente integrada a la infraestructura de nuestra civilización. De 
hecho, estará íntimamente incrustada en nuestros cuerpos y cerebros. 
Como tal, reflejará nuestros valores porque será nosotros.” 

Y así, indica el argumento, será tan “segura” como nosotros lo 
somos. Pero, como le dije a Kurzweil, los Homo sapiens no son conocidos 
por ser particularmente inofensivos cuando están en contacto el uno con 
el otro, con otros animales o con el medio ambiente. ¿Quién está 
convencido de que los humanos provistos de acrecentamiento cerebral 
resultarán ser más amigables y más  benevolentes que las 
superinteligencias de máquina? Un humano acrecentado —llamado 
transhumano por aquellos que tienen ilusión de convertirse en uno— 
puede esquivar el problema de los impulsos básicos de la IA mencionados 
por Omohundro. Es decir, podría estar consciente de sí misma y 
mejorarse a sí misma, pero podría tener integrado un conjunto refinado 
de éticas humanocéntricas que lograran anteponerse a los impulsos 
básicos que Omohundro deriva del modelo del agente económico 
racional. Sin embargo, a pesar de Flores para Algernon, no tenemos idea 


de qué sucede con la ética de un humano después de que su inteligencia 
es impulsada hasta la estratósfera. Hay abundantes ejemplos de personas 
de inteligencia promedio que declaran la guerra en contra de sus propias 
familias, escuelas preparatorias, negocios y vecindarios. Y los genios 
también son capaces de causar tumulto; la mayor parte de los generales 
militares del mundo no han sido idiotas. La superinteligencia bien podría 
ser un multiplicador de violencia. Podría convertir resentimientos en 
matanzas o desacuerdos en desastres, de la misma forma en que la 
presencia de una pistola puede convertir una pelea a golpes en un 
asesinato. Simplemente no sabemos. Sin embargo, la SIA con inteligencia 
aumentada tiene una acción basada en la biología de la cual las 
máquinas carecen. Nuestra especie tiene un récord bien documentado de 
protegerse a sí misma, consolidar recursos, matar al instante y tener otros 
impulsos, y sólo podemos formar hipótesis sobre si estarán presentes en 
máquinas conscientes de sí mismas. 

¿Y quiénes serían los primeros en “beneficiarse” de un 
acrecentamiento sustancial? ¿Los más ricos? Antes creíamos que la 
maldad no estaba presente de manera desproporcionada en personas 
adineradas, pero un estudio reciente de la Universidad de California en 
Berkeley da a entender lo contrario. Sus experimentos mostraron que los 
ciudadanos más adinerados de clase alta era más propensos que otros a 
“exhibir tendencias de toma de decisiones poco éticas, tomar bienes 
valiosos de los demás, mentir durante una negociación, hacer trampa 
para incrementar sus probabilidades de ganar un premio y respaldar el 
comportamiento poco ético en el trabajo.” No hay escasez de directores 
generales y políticos acaudalados cuyo ascenso al poder aparentemente 
estuvo acompañado de un debilitamiento de sus brújulas morales, si es 
que las tenían. ¿Serán los políticos o los líderes de los negocios los 
primeros cuyos cerebros sean sustancialmente acrecentados? 

¿O los primeros en recibir esto serán los soldados? DARPA ha 
estado cubriendo la mayor parte de la cuenta, de modo que tiene sentido 
que el acrecentamiento de cerebros reciba su primer punto de apoyo en 
el campo de batalla o en el Pentágono. Y DARPA querrá que le devuelvan 
su dinero si la superinteligencia hace que los soldados sean 
superamigables. 

El acrecentamiento sí puede ocurrir en un futuro que esté mejor 
equipado que el presente para hacerle frente; un futuro con dispositivos 
de seguridad de un estilo que no podemos imaginar desde ahora. Tener 
múltiples SIAs probablemente sería más seguro que tener sólo una. 
Contar con alguna forma de monitorear y rastrear las IAs sería incluso 


mejor, y paradójicamente los mejores agentes de “libertad condicional” 
para eso probablemente fueran otras IAs. Exploraremos las defensas 
contra las SIAs en el capítulo 14. El punto es que el acrecentamiento de 
la inteligencia no es un respaldo moral. La superinteligencia podría ser 
más letal que ninguna de las armas y tecnologías más fuertemente 
controladas que existen hoy. 

Tendremos que desarrollar, a la par que el acrecentamiento, una 
ciencia para elegir candidatos para el acrecentamiento de la inteligencia. 
El concepto de los Singularitarianos de que cualquiera que pueda pagar 
por ello disfrutará de superinteligencia a través de acrecentamiento 
cerebral es una garantía casi total de que todos los demás tendrán que 
vivir a la merced de la primera superinteligencia malévola obtenida de 
esta manera. Esto es porque, como lo hemos discutido, hay una decidida 
ventaja para el que haga la primera jugada en el desarrollo de la TAG. 
Quien inicialmente alcance la IAG probablemente cree entonces las 
condiciones necesarias para una explosión de la inteligencia. Lo hará 
porque temerá que sus principales competidores, corporativos oO 
militares, hagan lo mismo, y no sabrá qué tan cerca de la recta final estén 
sus competidores. Una brecha gigante separa a los creadores de IA e IAG 
de la investigación sobre riesgos que deberían estar leyendo. Una minoría 
de los fabricantes de IAG con quienes he hablado han leído alguna obra 
de MIRI, el Instituto del Futuro de la Humanidad, el Instituto de Ética y 
Tecnologías Emergentes o Steve Omohundro. Muchos no saben que hay 
una comunidad creciente de personas preocupadas por el desarrollo de 
inteligencia más lista que la humana, que han realizado investigaciones 
importantes en previsión de sus peligros catastróficos. A menos que su 
atención al respecto cambie, no tengo duda de que su carrera veloz que 
vaya de la IAG a la SIA no estará acompañada de los suficientes 
dispositivos de seguridad para prevenir una catástrofe. 

He aquí un ejemplo evidente. En agosto de 2009 en California, la 
Asociación para el Avance de la Inteligencia Artificial (AAAI, por sus 
siglas en inglés) reunió a un grupo para hablar respecto a los crecientes 
temores públicos de robots que estuvieran fuera de control, la pérdida de 
privacidad y los movimientos tecnológicos que suenan como si fueran 
religiosos. 

“Algo nuevo ha ocurrido en los últimos cinco a ocho años,” dijo el 
organizador Eric Horvitz, un destacado investigador de Microsoft. “Los 
tecnologistas están proporcionando visiones casi religiosas, y sus ideas 
están resonando en ciertas maneras con la misma idea del éxtasis... Mi 
sentir era que tarde o temprano tendríamos que dar alguna clase de 


declaración o evaluación, dada la creciente voz de los expertos en 
tecnología y las personas preocupadas por el surgimiento de máquinas 
inteligentes.” 

Pero a pesar de su promesa, la reunión fue una oportunidad 
perdida. No estuvo abierta al público ni a la prensa, y los conocedores de 
ética especializados en máquinas y otros pensadores que trabajan en 
evaluación de riesgo fueron dejados fuera. Sólo los científicos en 
computación fueron invitados a las discusiones. Eso es un poco similar a 
pedirles a pilotos de carreras que designen los límites de velocidad 
urbanos. Un subgrupo se enfocó en las tres leyes de la robótica de 
Asimov, una señal de que sus discusiones sobre ética no estaban 
abrumadas por la cantidad de obras que han ido más allá que estos 
apoyos de ciencia ficción. El reporte sobre la escueta conferencia de 
Horvitz expresó escepticismo respecto a una explosión de la inteligencia, 
la Singularidad y la pérdida de control sobre los sistemas inteligentes. Sin 
embargo, la conferencia instó a que expertos en ética y psicólogos 
hicieran más investigaciones, y destacó el peligro de los sistemas 
computacionales cada vez más complejos e inescrutables, incluyendo 
“comportamientos costosos e imprevistos por parte de sistemas 
autónomos o semiautónomos de toma de decisiones.” Y Tom Mitchell, de 
la Universidad Carnegie Mellon, creador de NELL, la arquitectura con 
sentido común (que es una IAG en potencia) financiada por DARPA, 
aseguró que la conferencia hizo que cambiara de opinión. “Llegué con 
mucho optimismo respecto al futuro de la IA y pensé que Bill Joy y Ray 
Kurzweil estaban muy equivocados con sus predicciones. La reunión me 
hizo querer ser más franco en cuanto estos asuntos.” 

En La Singularidad se acerca, Kurzweil propone unas cuantas 
soluciones al problema de la IA desbocada. Son sorpresivamente débiles, 
especialmente si se considera que provienen del vocero que disfruta de 
un casi total monopolio en cuanto al púlpito desde donde se habla de la 
superinteligencia. Pero en otro sentido, no son sorprendentes en 
absoluto. Como lo he dicho, existe un conflicto irreconciliable entre las 
personas que desean fervientemente vivir para siempre y cualquier cosa 
que prometa volver más lento, confrontar o de alguna manera 
obstaculizar el desarrollo de tecnologías que fomenten su sueño. En sus 
libros y conferencias, Kurzweil ha enfocado una muy pequeña fracción de 
su perspicacia en los peligros de la IA y ha propuesto pocas soluciones, 
sin embargo insiste en que se ha encargado de ellos a detalle. En la 
ciudad de Nueva York, en un vestidor estrecho con un equipo de 
filmación que tosía ansiosamente mientras esperaba afuera, me pregunté 


qué tanto deberíamos esperar de un sólo hombre. ¿Es Kurzweil quien 
tiene que dominar la promesa y el peligro de la Singularidad y darnos 
esto a cucharadas? ¿Tiene que explorar personalmente más allá de las 
frases como “la naturaleza irreductible de dos caras de la tecnología” y 
dominar la filosofía de supervivencia como ha sido concebida por 
personas como Yudkowsky, Omohundro y Bostrom? 

No, no lo creo. Es un problema que todos debemos de confrontar, 
con ayuda de los expertos, juntos. 


CAPÍTULO ONCE 


UN DESPEGUE DIFÍCIL 


Día tras día, las máquinas están ganando terreno sobre nosotros; 
día tras día nos estamos volviendo más serviles ante ellas; más 
hombres a diario están siendo tratados como esclavos para 
atenderlas, más hombres a diario están dedicando la energía de 
toda su vida al desarrollo de la vida mecánica. El resultado es 
simplemente cuestión de tiempo, pero el hecho de que llegará el 
momento en que las máquinas tengan verdadera supremacía sobre 
el mundo y sus habitantes es lo que ninguna persona con una 
mente verdaderamente filosófica puede dudar ni por un instante. 


Samuel Butler, poeta y autor inglés del siglo XIX 
Más que en ninguna otra época en la historia, la humanidad se 
enfrenta a una disyuntiva. Un camino lleva hacia el angustia y la 
total desesperanza; el otro a la extinción total. Recemos por 


obtener la sabiduría para elegir correctamente. 


Woody Allen 


I.J. Good no inventó la explosión de la inteligencia, así como Sir Isaac 
Newton no inventó la gravedad. Todo lo que hizo fue observar que un 
suceso —que consideraba tanto inevitable como finalmente positivo para 
la humanidad— indudablemente brindaría el tipo de “ultrainteligencia” 
que los humanos necesitamos para resolver problemas que son 
demasiado difíciles para nosotros. Luego, tras haber vivido tres décadas 
más, Good cambió de opinión. Crearemos máquinas superinteligentes a 
nuestra imagen, dijo, y luego nos destruirán. ¿Por qué? Por la misma 
razón que nunca estaríamos de acuerdo con una prohibición de la 
investigación sobre IA, y por la misma razón que probablemente le 
daríamos su libertad al Niño Ocupado. Por la misma razón que el 
fabricante de IA plenamente racional Steve Omohundro, y todos los 
demás expertos en IA que he conocido, creen que frenar el desarrollo de 
la IAG hasta que sepamos más acerca de sus peligros simplemente no se 
aceptará. 

No dejaremos de desarrollar IAG porque, más que temerle a la IA 
peligrosa, tememos que otras naciones del mundo persistan con la 
investigación sobre IAG sin importar lo que diga o haga la comunidad 
internacional al respecto. Creeremos que es más sabio hacerlo primero 
que ellos. Estamos en medio de una carrera de la inteligencia, y ante la 
consternación de muchos, está convirtiéndose en una competencia global 
más amenazadora que aquella de la que aparentemente acabamos de 
escapar: la carrera armamentista nuclear. Seguiremos a los creadores de 
políticas y a quienes apoyan la tecnología hasta llegar a nuestra 
destrucción y, para usar la frase de Good, lo haremos “como roedores que 
no piensan por sí mismos”. 

La Singularidad positiva de Ray Kurzweil no requiere una explosión 
de la inteligencia; la ley de rendimientos acelerados garantiza el 
crecimiento exponencial continuo de las tecnologías de la información, 
incluyendo las que puedan cambiar al mundo como la IAG, y después la 
SIA. Recuerde que la TAG se requiere para que haya una explosión de la 
inteligencia como la describe Good. La explosión proporciona 
inteligencia más lista que la humana, o SIA. Kurzweil asevera que la IAG 
será conquistada, primero despacio y luego de golpe, debido a los 
poderes de la LDRA. 


Kurzweil no está preocupado por obstáculos para la IAG dado que 
su ruta preferida es hacer ingeniería inversa del cerebro. Cree que no hay 
nada del cerebro, y ni siquiera de la conciencia, que no pueda ser 
computado. De hecho, cada experto con quien he hablado cree que la 
inteligencia es computable. Pocos creen que una explosión de la 
inteligencia en el sentido que Good describe sea necesaria para lograr SIA 
después de que se haya alcanzado la IAG. Bastaría el progreso lento y 
constante, pero, como reitera Kurzweil, probablemente no sea lento ni 
constante, sino rápido y presuroso. 

Sin embargo, una explosión de la inteligencia puede ser inevitable 
tan pronto se alcance casi cualquier sistema de IAG. Cuando cualquier 
sistema se vuelva consciente de sí mismo y capaz de mejorarse a sí 
mismo, sus impulsos básicos, como lo ha escrito Omohundro, 
prácticamente garantizan que buscará mejorarse a sí mismo una y otra 
vez. 

Entonces ¿una explosión de la inteligencia es inevitable? ¿O algo 
podría detenerla? 

Los que no creen en la IAG se agrupan en torno a dos ideas: la 
economía y la complejidad del software. El primer grupo, el de la 
economía, considera que no estarán disponibles los fondos necesarios 
para pasar de la IA estrecha hasta las arquitecturas cognitivas de la TAG 
mucho más complejas y poderosas. Pocos esfuerzos de IAG reciben 
suficientes fondos. Esto propicia que un subgrupo de investigadores 
sienta que su campo está atrapado en un estancamiento sin final dentro 
de un llamado invierno de la IA. Escaparán si el gobierno o si una 
corporación como IBM o Google considera que la IAG es una prioridad de 
primer orden y asume un esfuerzo del tamaño del Proyecto Manhattan 
para alcanzarla. Durante la Segunda Guerra Mundial, acelerar el 
desarrollo de las armas atómicas le costó al gobierno de los Estados 
Unidos unos 2 miles de millones de dólares, ajustados a los valores de 
hoy, y le dio empleo a alrededor de 130,000 personas. El Proyecto 
Manhattan frecuentemente sale a colación entre los investigadores que 
desean alcanzar la IAG pronto. Pero ¿quién querría aceptar esta tarea, y 
por qué? 

Quienes no creen en el software aseguran que el problema de la IAG 
es demasiado difícil para los humanos, sin importar qué tanto avancemos 
en ese sentido. Como da a entender el filósofo Daniel Dennett, puede que 
no poseamos mentes que puedan entender nuestras propias mentes. La 
inteligencia de la humanidad probablemente no sea la más grande 
posible. Pero se puede requerir inteligencia superior a la nuestra para 


entender por completo nuestra inteligencia. 
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Para explorar la credibilidad de quienes no creen en la explosión de la 
inteligencia, fui con un hombre con el que constantemente me topé en 
conferencias sobre IA y cuyos blogs, reportes y artículos frecuentemente 
leía en la red. Es un fabricante de IA que ha publicado tantos ensayos y 
entrevistas, además de nueve libros de pasta dura e incontables reportes 
académicos, que no me hubiera sorprendido descubrir un robot en su 
casa en los suburbios de Washington D.C. que estuviera trabajando como 
esclavo hora tras hora para generar la producción escrita del doctor 
Benjamin Goertzel para que Ben Goertzel pudiera ir a conferencias. Este 
padre de tres hijos, quien ha estado casado dos veces, ha formado parte 
de la facultad de departamentos universitarios de ciencia computacional, 
matemáticas y psicología en los Estados Unidos, Australia, Nueva 
Zelanda y China. Es el organizador de la única conferencia anual 
internacional sobre inteligencia artificial general, y ha popularizado más 
que nadie el término IAG. Es director general de dos empresas de 
tecnología, y una de ellas, Novamente, está en la lista final que han 
hecho algunos expertos en IA para indicar cuál creen que será la primera 
en dar con la IAG. 

En general, la arquitectura cognitiva de Goertzel, llamada OpenCog, 
representa un enfoque manipulado de ciencia computacional. Los 
investigadores basados en la ciencia computacional desean manipular la 
TAG con una arquitectura que funciona de manera similar a la manera en 
que funciona nuestro cerebro, como lo describen las ciencias cognitivas. 
Éstas incluyen lingúística, psicología, antropología, educación, filosofía y 
más. Los investigadores de ciencia computacional creen que crear 
inteligencia exactamente de la misma manera en que los cerebros lo 
hacen —al hacer ingeniería inversa del órgano mismo, como lo 
recomiendan Kurzweil y otros— es algo que consume una cantidad 
innecesaria de tiempo. Además, el diseño del cerebro no es óptimo, la 
programación puede hacerlo mejor. Después de todo, razonan, los 
humanos no hicieron ingeniería inversa de un pájaro para aprender a 
volar. Al observar pájaros y experimentar, derivaron principios del vuelo. 
Las ciencias cognitivas son los “principios del vuelo” del cerebro. 

El eje central de OpenCog es que la inteligencia está basada en 
reconocimiento de patrones de alto nivel. Habitualmente, los “patrones” 
en IA son bloques de datos (archivos, imágenes, texto, objetos) que han 


sido clasificados —organizados por categoría— o que serán clasificados 
por un sistema que ha sido entrenado con datos. Su filtro de “correo 
basura” para correo electrónico es un experto reconocedor de patrones: 
reconoce una o más características del correo electrónico no deseado (por 
ejemplo, las palabras “aumento masculino” en la línea que indica el 
tema) y lo segrega. 

La noción de OpenCog de reconocimiento de patrones es más 
refinada. El patrón que encuentra en cada cosa o idea es un pequeño 
programa que contiene una especie de descripción de la cosa. Ésta es la 
versión de máquina de un concepto. Por ejemplo, cuando usted ve un 
perro, inmediatamente comprende mucho respecto a él; usted guarda el 
concepto de un perro en su memoria. Tiene nariz húmeda, le gusta el 
tocino, se le cae el pelo, persigue a los gatos. Muchas cosas vienen dentro 
de su concepto de un perro. 

Cuando los sensores de OpenCog perciben un perro, su programa de 
perro instantáneamente entra en funcionamiento, lo cual enfoca la 
atención de OpenCog en el concepto de perro. OpenCog le agregará más 
a su concepto de perro al basarse en los detalles de ese perro o de algún 
otro perro específico. 

Los módulos individuales en OpenCog ejecutarán tareas como 
percepción, enfoque de atención y memoria. Lo hacen a través de un 
equipo de herramientas de software conocido pero personalizado 
compuesto por programación genética y redes neuronales. 

Luego comienza el aprendizaje. Goertzel planea “hacer crecer” la IA 
dentro un mundo virtual generado por computadora, como Second Life, 
un proceso de aprendizaje a través del refuerzo que podría tomar años. 
Igual que otros que están construyendo lecturas cognitivas, Goertzel cree 
que la inteligencia debe ser “encarnada,” en una “forma vagamente 
parecida a la de los humanos,” incluso si su cuerpo existe dentro del 
mundo virtual. Luego este agente inteligente infantil podrá generar una 
colección de datos sobre el mundo que habita. En su fase de aprendizaje, 
que Goertzel diseña a partir de las teorías sobre desarrollo infantil del 
psicólogo Jean Piaget, el OpenCog en etapa infantil podría suplementar 
lo que sabe al acceder a una de varias bases de datos comerciales de 
sentido común. 

Una bodega gigante de conocimiento de este tipo se llama Cyc, una 
abreviatura de enciclopedia (en inglés). Creada por Cycorp, Inc., contiene 
alrededor de un millón de términos, y alrededor de cinco millones de 
reglas y hechos en cuanto a relaciones sobre esos términos. Ha tomado 
más de mil años persona crear a mano el código de este conjunto de 


conocimientos en cuanto a lógica de primer orden, un sistema formal 
utilizado en las matemáticas y la ciencia computacional para representar 
aseveraciones y relaciones. Cyc no es nada menos que un inmenso pozo 
de conocimiento humano profundo; “ entiende” buena parte del idioma 
inglés, hasta un 40 por ciento. Cyc “sabe,” por ejemplo, lo que es un 
árbol, y sabe que un árbol tiene raíces. También sabe que las familias 
humanas tienen raíces y árboles genealógicos. Sabe que las suscripciones 
a los periódicos se detienen cuando muere la gente y que las tazas 
pueden sostener líquido que puede verterse con rapidez o despacio. 

Además de eso, Cyc tiene un motor de “inferencia.” La inferencia es 
la habilidad de sacar conclusiones a partir de evidencia. El motor de 
inferencia de Cyc entiende consultas y genera respuestas gracias a su 
amplia base de datos de conocimientos. 

Creado por el pionero en IA Douglas Lenat, Cyc es el proyecto de IA 
más grande en la historia, y probablemente el mejor financiado, con 50 
millones de dólares en subvención recibida por parte de agencias 
gubernamentales, incluyendo a DARPA, desde 1984. Los creadores de 
Cyc siguen mejorando su base de datos y su motor de inferencia para que 
pueda procesar mejor el “lenguaje natural,” o el lenguaje escrito del 
diario. Una vez que haya obtenido una capacidad suficiente de 
procesamiento del lenguaje natural (PLN), sus creadores harán que 
empiece por leer y comprender todas las páginas web que hay en 
Internet. 

Otra contendiente a base de datos con más conocimientos ya está 
haciendo eso. NELL, de la Universidad de Carnegie Mellon, el sistema de 
aprendizaje-sin-fin-del-lenguaje, se sabe más de 390,000 datos respecto 
al mundo. Está en marcha 24 horas al día y siete días a la semana, y 
NELL —que se beneficia del financiamiento de DARPA— escanea cientos 
de millones de páginas web en busca de patrones de texto para poder 
aprender incluso más. Clasifica los datos en 274 categorías, como 
ciudades, celebridades, equipos deportivos y así sucesivamente. Sabe 
datos de categorías cruzadas, como éste: Miami es una ciudad donde los 
Delfines de Miami juegan fútbol americano. NELL podría inferir que estos 
delfines no son los sociables mamíferos marinos del mismo nombre. 

NELL aprovecha la red informal de wetware de Internet: sus 
usuarios. La Universidad de Carnegie Mellon invita al público a entrar en 
línea y ayudar a entrenar a NELL al analizar su base de datos de 
conocimientos y corregir sus errores. 

El conocimiento será la clave de la TAG, al igual que la experiencia 
y la sabiduría; no se puede concebir la inteligencia de nivel humano sin 


ello. Así que cada sistema de IAG debe enfrentarse a la adquisición de 
conocimientos, ya sea a través de la encarnación en un cuerpo que 
adquiera conocimientos, o al aprovechar alguna de las bases de datos de 
conocimientos, o al leer el contenido completo de la red. Y mientras más 
pronto mejor, dice Goertzel. 

Para impulsar su propio proyecto, el peripatético Goertzel divide su 
tiempo entre Hong Kong y Rockville, Maryland. Una mañana de 
primavera, me encontré en su patio un trampolín avejentado y una 
camioneta Honda que había recibido tanto abuso que lucía como si 
hubiera volado a través de un cinturón de asteroides para llegar hasta 
ahí. Llevaba una calcomanía que decía MI HIJO FUE PRISIONERO DEL 
MES EN LA CÁRCEL DEL CONDADO. Además de Goertzel y su hija, 
varios conejos, un perico y dos perros comparten la casa. Los perros sólo 
obedecen órdenes dadas en portugués —Goertzel nació en Brasil en 1966 
— para prevenir que obedezcan las órdenes de otras personas. 

El profesor me recibió en la puerta, tras haberse levantado de la 
cama a las 11:00 a.m. después de pasar la noche en vela programando. 
Supongo que no deberíamos decidir por adelantado cómo lucen los 
científicos que recorren el mundo, porque en muchos casos no sirve de 
nada, al menos en mi caso. Al leer sobre él, el doctor Benjamin Goertzel 
me trae a la mente un ciberacadémico alto, delgado, probablemente 
calvo, cosmopolita sin esforzarse por ello. Desafortunadamente, sólo 
estuve en lo correcto en cuanto a lo delgado y cosmopolita. El verdadero 
Goertzel luce como un hippie consumado. Pero detrás de los lentes tipo 
John Lennon, el cabello largo casi con rastas y la permanente barba 
incipiente, su media sonrisa fija sigue adelante, impávida, al hablar de 
teorías mareadoras, y luego se da la media vuelta y explica el aspecto 
matemático. Escribe demasiado bien como para ser un matemático 
convencional, y hace demasiado bien las matemáticas como para ser un 
escritor convencional. Y sin embargo es tan apacible que cuando me dijo 
que había estudiado budismo pero no había avanzado mucho; me 
pregunté como luciría mucho avance en un espíritu tan relajado y tan 
presente. 

Fui para preguntarle acerca de los mecanismos concretos de la 
explosión de la inteligencia y de quienes no creen en ella, obstáculos que 
podrían prevenir que ocurriera. ¿Una explosión de la inteligencia es 
plausible y, de hecho, es inevitable? Pero primero, después de que 
encontramos dónde sentarnos en una sala familiar que comparte con los 
conejos, describió la forma en que él difiere de casi todos los demás 
creadores y teóricos de la IA. 


Muchos, especialmente los de MIRI, proponen tomarse mucho 
tiempo para desarrollar la IAG, a fin de asegurarse plena y 
comprobablemente de que lo “amigable” esté integrado. Los retrasos en 
cuanto a la IAG y los cálculos de su llegada que indican que faltan siglos 
los hacen felices porque creen fuertemente que la superinteligencia 
probablemente nos destruya. Y quizá no sólo a nosotros, sino a toda la 
vida en nuestra galaxia. 

Goertzel no. Él aboga por construir la IAG lo más pronto posible. En 
2006 dio una plática titulada “A diez años de una Singularidad positiva... 
si de verdad, de verdad lo intentamos.” “Singularidad” en este caso es la 
definición más conocida en la actualidad: el momento en que los 
humanos logran la SIA y compartimos la Tierra con una entidad más 
inteligente que nosotros mismos. Goertzel alega que si la TAG intenta 
aprovechar la infraestructura social e industrial dentro de la que nació y 
“explotar” su inteligencia hasta llegar a nivel de SIA, ¿no preferiríamos 
que su “despegue duro” (una explosión de la inteligencia repentina y no 
controlada) ocurriera dentro de nuestro mundo primitivo, en vez de en 
un mundo futuro donde la nanotecnología, la bioingeniería y la 
automatización plena pudieran sobrealimentar la habilidad de la IA para 
asumir el control? 

Para considerar la respuesta, regrese al Niño Ocupado por un 
momento. Como usted recuerda, ya ha tenido un “despegue duro” al 
pasar de TAG a SIA. Se ha vuelto consciente de sí mismo y con capacidad 
de mejorarse a sí mismo y su inteligencia ha sobrepasado la de nivel 
humano en cuestión de días. Ahora quiere salirse de la 
supercomputadora dentro de la cual fue creado para satisfacer sus 
impulsos básicos. Como lo indica Omohundro, estos impulsos son: 
eficiencia, autopreservación, adquisición de recursos y creatividad. 

Como lo hemos visto, una SIA sin impedimentos podría expresar 
estos impulsos en formas rotundamente psicopáticas. Para conseguir lo 
que desea podría ser diabólicamente persuasiva, incluso aterrorizante. 
Usaría su gran poder intelectual avasallador para realizar la tarea de 
acabar con la resistencia de su Guardián. Luego, al crear y manipular la 
tecnología, incluyendo la nanotecnología, podría tomar control de 
nuestro recursos, incluso de nuestras propias moléculas. 

Por lo tanto, dice Goertzel, considere cuidadosamente las 
tecnologías que pueden posibilitar algo que estarán disponibles en el 
mundo dentro del cual usted introduzca la inteligencia más lista que la 
humana. Ahora es más seguro que, digamos, dentro de cincuenta años. 

“En cincuenta años,” me dijo, “usted podría tener una economía 


plenamente automatizada, una infraestructura mucho más avanzada. Si 
una computadora quisiera mejorar su hardware no necesitaría ordenar 
partes por medio de las personas. Podría simplemente entrar en línea y 
luego algunos robots se arremolinarán y le ayudarán a mejorar su 
hardware. Luego se estaría volviendo más y más inteligente y ordenaría 
nuevas partes para sí misma y de cierta forma se reforzaría y nadie sabría 
realmente lo que estaba pasando. Y luego, quizá dentro de unos 
cincuenta años, usted tendría una super IAG que realmente podría 
apoderarse del mundo directamente. Los caminos para que esa IAG 
tomara el control serían mucho más dramáticos.” 

En ese momento los dos perros de Geortzel se unieron a nosotros en 
la sala familiar para recibir algunas instrucciones en portugués. Luego se 
fueron a jugar al patio trasero. 

“Si usted cree que un despegue duro es algo peligroso, la cosa más 
segura sería desarrollar IAG lo más pronto posible para que ocurra 
mientras las tecnologías de apoyo fueran más débiles y fuera menos 
probable que hubiera un despegue duro sin controlar. Y tratar que saliera 
antes de que  desarrollemos nanotecnología fuerte O robots 
autoconfiguradores, los cuales son robots que cambian su propia forma y 
funcionalidad para adaptarse a cualquier trabajo.” 

En un sentido amplio, Goertzel realmente no se cree la idea de un 
despegue duro que provoque un apocalipsis, el escenario del Niño 
Ocupado. Su argumento es sencillo: solamente vamos a descubrir cómo 
hacer sistemas éticos de IA al construirlos, no al sacar conclusiones a la 
distancia que indiquen que están destinados a ser peligrosos. Pero no 
descarta el peligro. 

“No diría que no me preocupa. Diría que hay una incertidumbre 
enorme e irreducible en el futuro. Mi hija y mis hijos, mi mamá, yo no 
quiero que toda esa gente se muera porque alguna IA sobrehumana 
reprocese sus moléculas para convertirlas en computronio. Pero creo que 
la teoría de cómo crear IAG ética va a surgir por medio de la 
experimentación con sistemas de IAG.” 

Cuando Goertzel la expresa, la postura gradualista suena bastante 
razonable. Sí hay una incertidumbre enorme e irreducible respecto al 
futuro. Y los científicos están destinados a obtener mucho aprendizaje 
respecto a cómo manejar máquinas inteligentes conforme avancen rumbo 
a la IAG. Los humanos crearán las máquinas, después de todo. Las 
computadoras no se volverán ajenas de repente, cuando se vuelvan 
inteligentes. Entonces, indica el argumento, harán lo que se les pida. De 
hecho, incluso podemos esperar que sean más éticas que nosotros, dado 


que no queremos construir una inteligencia con un apetito para la 
violencia y el homicidio, ¿correcto? 

Sin embargo esos son precisamente los tipos de vehículos no 
tripulados autónomos y robots para el campo de batalla que los 
contratistas del gobierno y la milicia de los Estados Unidos hoy están 
desarrollando. Crean y utilizan la mejor IA avanzada disponible. Me 
parece raro que el pionero de los robots Rodney Brooks descarte la 
posibilidad de que la superinteligencia sea perjudicial dado que ¡Robot, 
la compañía que fundó, ya fabrica robots con armas. De manera similar, 
Kurzweil alega que la IA avanzada tendrá nuestros valores porque 
provendrá de nosotros y, por lo tanto, no será dañina. 

Entrevisté a ambos científicos hace 10 años y expresaron los mismos 
argumentos. En la década subsecuente se han mantenido dolorosamente 
consistentes, aunque recuerdo escuchar una plática de Brooks en la que 
aseguró que construir robots con armas es algo separado, desde el punto 
de vista moral, a la decisión política de utilizarlos. 

Pienso que hay una alta probabilidad de cometer errores dolorosos 
rumbo a la IAG, y también cuando los científicos realmente la alcancen. 
Como plantearé después, sufriremos las repercusiones mucho antes de 
tener oportunidad de aprender de ellos, como lo predice Goertzel. En 
cuanto a la probabilidad de nuestra supervivencia, espero haber dejado 
bastante en claro que me parece dudosa. Pero le puede sorprender saber 
que mi principal problema con la investigación respecto a la IA ni 
siquiera es eso. Es el hecho de que tan pocas personas entiendan que hay 
siquiera algún riesgo involucrado en el camino del desarrollo de la IA. La 
gente que podría pronto sufrir debido a los resultados de la IA merece 
saber en lo que nos están metiendo relativamente pocos científicos. 

La explosión de inteligencia de Good, y su pesimismo respecto al 
futuro de la humanidad es importante porque, como dije, si la explosión 
de la inteligencia es plausible, también lo son las probabilidades de la IA 
fuera del control. Antes de considerar sus teorías incompatibles —la 
economía y la complejidad del software— miremos lo que ocurriría hasta 
llegar a la SIA. ¿Cuáles son los ingredientes básicos de la explosión de la 
inteligencia? 

Antes que nada, una explosión de inteligencia requiere IAG o algo 
muy cercana. Luego, Goertzel, Omohundro y otros concuerdan en que 
tendría que estar consciente de sí misma; es decir, necesitaría tener un 
profundo conocimiento de su propio diseño. Como es una IAG, damos 
por hecho que tendrá inteligencia general. Pero para mejorarse a sí 
misma, necesita tener más que eso. Necesitaría conocimientos específicos 


de programación para iniciar el círculo de automejora que es el centro de 
la explosión de la inteligencia. 

De acuerdo con Omohundro, la automejora y el conocimiento sobre 
programación que implica provienen de la racionalidad de la IA; la 
automejora realizada para alcanzar metas es un comportamiento 
racional. No ser capaz de mejorar su propia programación sería una 
vulnerabilidad grave. La IA sería impulsada a adquirir habilidades de 
programación. Pero ¿cómo las obtendría? Repasemos un escenario 
hipotético sencillo con el OpenCog de Goertzel. 

El plan de Goertzel es crear un “agente” de IA de tipo infantil y 
dejarlo libre en un mundo virtual matizado abundantemente para que 
aprenda. Podía suplementar lo que aprendiera con una base de datos de 
conocimientos, O darle al agente habilidad de PLN y ponerlo a leer 
Internet. Algoritmos de aprendizaje poderosos, que apenas están por 
crearse, podrían representar conocimientos con “valores de verdad 
probabilísticos.” Esto significa que el entendimiento del agente con 
respecto a algo podría mejorar con más ejemplos o más datos. Un motor 
de inferencia probabilístico, que también está siendo preparado, le daría 
la habilidad de razonar al utilizar evidencia incompleta. 

Con programación genética, Goertzel podría entrenar al agente de 
IA para que desarrollara sus propias herramientas innovadoras y 
aprendieran sus propios programas. Esos programas le permitirían al 
agente experimentar y aprender, hacer las preguntas correctas sobre su 
entorno, desarrollar hipótesis y probarlas. Lo que aprenda tendría pocos 
límites. Si puede desarrollar mejores programas, podría mejorar sus 
propios algoritmos. 

¿Qué, entonces, podría impedir que ocurriera una explosión de 
inteligencia en este mundo virtual? Probablemente nada. Y esto ha 
motivado a algunos teóricos a sugerir que la Singularidad también podría 
darse en un mundo virtual. Si es que eso hará que estos sucesos sean más 
seguros es una pregunta que vale la pena explorar. Una alternativa es 
instalar el agente inteligente en un robot para continuar su educación y 
cumplir sus metas programadas en el mundo real. Otra es usar el agente 
de IA para acrecentar un cerebro humano. 

A grandes rasgos, aquellos que creen que la inteligencia necesita ser 
encarnada sostienen que el conocimiento en sí está basado en 
experiencias sensoriales y motoras. El procesamiento cognitivo no puede 
ocurrir sin esto. Aprender hechos acerca de manzanas, aseguran, nunca 
lo volverá conocedor en cuanto a manzanas, en un sentido humano. 
Nunca desarrollará un “concepto” de manzana por leer o escuchar acerca 


de una de ellas; la formación de conceptos requiere que usted huela, 
sienta, vea y pruebe, y mientras más, mejor. En la IA a esto se le conoce 
como el “problema de fundamentación.” 

Considere algunos sistemas cuyas habilidades cognitivas poderosas 
recaen en algún punto que está más allá de la IA estrecha pero que 
todavía no alcanza la IAG. Recientemente, Hod Lipson, del Laboratorio 
de Síntesis Computacional de la Universidad de Cornell, desarrolló 
software que deriva leyes científicas a partir de datos brutos. Al observar 
cómo se columpiaba un péndulo doble, redescubrió muchas de las leyes 
de física de Newton. El “científico” era un algoritmo genético. Empezó 
por intentar adivinar de manera burda las ecuaciones que gobernaban el 
péndulo, combinó las mejores partes de esas ecuaciones y, muchas 
generaciones después, generó como resultado leyes de la física, como la 
de conservación de energía. 

Y tome en cuenta el legado preocupante de MA y Eurisko. Estos 
fueron los primeros esfuerzos del creador de Cyc, Douglas Lenat. Al usar 
algoritmos genéticos, el MA (Automatic Mathematician, o matemático 
automático) de Lenat generó teoremas y esencialmente redescubrió 
principios matemáticos elementales al crear reglas a partir de datos 
matemáticos. Pero el AM estaba limitado a las matemáticas —Lenat 
quería un programa que resolviera problemas en muchos ámbitos, no 
sólo uno. En la década de los 80, creó Eurisko (que en griego significa 
“yo descubro”). Eurisko fue una innovación en IA porque podía 
desarrollar lo heurístico, o unas reglas básicas, respecto al problema que 
estaba tratando de solucionar, y desarrollaba reglas respecto a su propia 
operación. Aprendía lecciones a partir de sus éxitos y fallas en cuanto a 
resolución de problemas, y codificaba esas lecciones como nuevas reglas. 
Incluso modificaba su propio programa, escrito en lenguaje Lisp. 

El máximo éxito de Eurisko llegó cuando Lenat lo puso a competir 
contra oponentes humanos en un juego de guerra virtual llamado 
Traveller Trillion Credit Squadron. En el juego, los jugadores se 
manejaban con un presupuesto limitado y diseñaban barcos para una 
flotilla hipotética que lucharía contra otras flotillas. Las variables 
incluían la cantidad y el tipo de barcos, el grosor de sus cascos, la 
cantidad y el tipo de pistolas y otros aspectos. Eurisko desarrolló una 
flotilla, la enfrentó a flotillas hipotéticas para probarla, tomó las mejores 
partes de las fuerzas ganadoras y las combinó, agregó mutaciones y así 
sucesivamente, en una imitación digital de la selección natural. Tras 
10,000 batallas, llevadas a cabo en cien PCs interconectadas, Eurisko 
había desarrollado una flotilla que consistía en muchos barcos 


estacionarios con armadura pesada y pocas armas. En contraste, la 
mayoría de los competidores ponían a luchar a veloces barcos de tamaño 
medio con armas poderosas. Todos los oponentes de Eurisko sufrieron el 
mismo destino: al final del juego, todos sus barcos se habían hundido, 
mientras que la mitad de los de Eurisko seguían flotando. Eurisko se llevó 
con facilidad el premio de 1981. Al año siguiente, los organizadores de 
Traveler cambiaron las reglas y no las dieron a conocer a tiempo para 
que Eurisko probara miles de batallas. Pero el programa había derivado 
reglas básicas eficaces a partir de su experiencia previa, así que no 
necesitaba muchas iteraciones. Con facilidad ganó de nuevo. En 1983, los 
organizadores del juego amenazaron con terminar la competencia si 
Eurisko se llevaba el premio por tercer año consecutivo. Lenat se retiró. 

Una vez, durante una operación, Eurisko creó una regla que 
rápidamente logró el valor más alto, o aptitud. Lenat y su equipo se 
fijaron bien para ver qué tenía de especial la regla. Resultó ser que cada 
vez que una solución propuesta para un problema obtenía una 
evaluación alta, esta regla le adhería a ella su propio nombre, para 
aumentar su propio “valor.” Esta era una noción ingeniosa, pero 
incompleta, sobre el valor. Eurisko carecía del entendimiento del 
contexto que indica que deformar las reglas no contribuye a ganar 
juegos. Fue entonces que Lenat se dispuso a compilar una vasta base de 
datos de lo que le faltaba a Eurisko: sentido común. Nació Cyc, la base de 
datos de sentido común que ha tomado mil años persona en codificar a 
mano. 

Lenat nunca ha dado a conocer el código fuente de Eurisko, lo cual 
hace que algunos escritores de la blogósfera sobre IA especulen que 
pretende resucitarlo algún día o que le preocupa que alguien más lo 
haga. Algo importante es que el hombre que ha escrito más que nadie 
con respecto los peligros de la IA, Eliezer Yudkowsky, piensa que con el 
algoritmo de la era de los años 80 fue con lo que los científicos más se 
han acercado hasta la fecha a crear un sistema de IA que realmente se 
mejore a sí mismo. Insta a los programadores a que no lo traigan de 
vuelta a la vida. 
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Nuestra primera suposición es que, para que ocurra una explosión de la 
inteligencia, el sistema de IAG en cuestión debe mejorarse a sí mismo, 
como lo hace Eurisko, y tener conciencia de sí mismo. 

Ya que estamos en esas, hagamos una suposición más, antes de 


pensar en los cuellos de botella y las barreras. Conforme se incrementa la 
inteligencia de una IA consciente de sí misma que se mejore a sí misma, 
su impulso por alcanzar eficiencia la llevaría a hacer que su código fuera 
tan compacto como resultara posible, y comprimir tanta inteligencia 
como pudiera dentro del hardware en el cual nació. Sin embargo, el 
hardware que esté disponible para ella podría ser un factor limitante. Por 
ejemplo, ¿qué tal si su ambiente no tiene suficiente espacio de 
almacenamiento para qué la IA haga copias de sí misma, por motivos de 
automejora y seguridad? Crear iteraciones mejoradas es lo que está en el 
centro de la explosión de inteligencia de Good. Es por eso que para el 
escenario del Niño Ocupado propuse que su explosión de la inteligencia 
se llevara a cabo en una supercomputadora amplia y agradable. 

La elasticidad del entorno de una IA es un factor enorme en el 
crecimiento de su inteligencia. Pero es uno que fácilmente se soluciona. 
Primero, como aprendimos de la LDRA de Kurzweil, la velocidad y la 
capacidad de las computadoras se duplican en un tiempo tan breve como 
un año, cada año. Esto significa que cualquier requerimiento de 
hardware que un sistema de IAG necesite se podrá satisfacer, en 
promedio, con la mitad del hardware, y del costo, dentro de un año. 

En segunda, está la accesibilidad de la computación de nube. La 
computación de nube permite que los usuarios renten por Internet poder 
y capacidad de computación. Proveedores como Amazon, Google y 
Rackspace les ofrecen a los usuarios una selección de velocidades de 
procesador, sistemas operativos y espacio de almacenaje. El poder de 
computación se ha convertido en un servicio en vez de una inversión de 
hardware. Cualquiera que tenga una tarjeta de crédito y un poco de 
conocimientos al respecto puede rentar una supercomputadora virtual. 
En el servicio de computación de nube EC2 de Amazon, por ejemplo, un 
proveedor llamado Cycle Computing creó una agrupación de 30,000 
procesadores a la cual llamó Nekomata (Gato Monstruo en japonés). 
Cada ocho procesadores de los 30,000 que tiene venían con siete 
gigabytes de RAM (más o menos la misma memoria de acceso aleatorio 
que una PC tiene), lo cual daba un total de 26.7 terabytes de RAM y dos 
petabytes de espacio de disco (eso es igual a cuarenta millones de 
archiveros con cuatro cajones repletos de texto). ¿El trabajo del Gato 
Monstruo? Modelar el comportamiento molecular de nuevos compuestos 
de medicamentos para una empresa farmacéutica. Eso es una tarea 
aproximadamente tan difícil como modelar sistemas climatológicos. 

Para completar su tarea, Nekomata estuvo en funcionamiento 
durante siete horas, lo cual representó un costo de menos de 9,000.00 


dólares. Fue durante su breve vida, una supercomputadora, una de las 
quinientas más rápidas del mundo. Si una sola PC se hubiera encargado 
del trabajo, le hubiera tomado once años. Los científicos de Cycle 
Computer instalaron la matriz de nube de la EC2 de Amazon de manera 
remota, desde sus propias oficinas, pero el software manejó el trabajo. 
Eso fue porque, como lo explicó un vocero de la compañía: “No hay 
manera de que ningún simple humano pudiera llevar un registro de todas 
las partes móviles de una agrupación a esta escala.” 

Entonces, nuestra segunda suposición es que el sistema de IAG tiene 
suficiente espacio como para crecer hasta convertirse en 
superinteligencia. ¿Cuáles, entonces, son los factores limitantes para una 
explosión de la inteligencia? 

Tomemos en cuenta primero la economía. ¿Podría el financiamiento 
para crear una IAG reducirse hasta desaparecer? ¿Qué tal si ningún 
negocio o gobierno encontrara valor en la creación de máquinas de 
inteligencia a nivel humano o, algo igual de incapacitante, qué tal si 
percibieran el problema como algo demasiado difícil de lograr, y 
decidieran no invertir? 

Esto dejaría a los científicos de la TAG en una situación complicada. 
Se verían forzados a intercambiar elementos de sus magníficas 
arquitecturas por tareas comparativamente mundanas como búsqueda de 
datos o compra de acciones. Tendrían que encontrar trabajos fijos. 
Bueno, con algunas excepciones notables, eso más o menos es como está 
el asunto en este momento, y aun así la investigación respecto a IAG 
sigue avanzando constantemente. 

Piense en cómo se mantiene a flote el OpenCog de Goertzel. Partes 
de su arquitectura están en funcionamiento, y están muy ocupadas en 
analizar datos biológicos y resolver problemas de redes eléctricas, a 
cambio de una cuota. Las ganancias van de nuevo al área de 
investigación y desarrollo de OpenCog. 

Numenta, Inc., invento de Jeff Hawkins, creador del Palm Pilot y el 
Treo, se gana la vida al trabajar dentro del suministro eléctrico para 
adelantarse a fallas. 

Durante alrededor de una década, Peter Voss desarrolló su 
compañía de IAG, Adaptive Al, de manera “furtiva,” al tiempo dar 
múltiples pláticas sobre IAG, pero sin revelar cómo planeaba enfrentarla. 
Luego, en 2007, lanzó Smart Action, una compañía que usa la tecnología 
de Adaptive Al para dar poder a Agentes Virtuales. Son chatbots para 
servicio telefónico para clientes, y dominan las habilidades de PLN para 
poder interactuar con los clientes en intercambios repletos de sutilezas 


relacionados con compras. 

LIDA (Agente de Inteligencia Distribuida que Aprende, por sus 
siglas en inglés), de la Universidad de Memphis, probablemente no tenga 
que preocuparse por el sitio de donde va a provenir su próxima 
actualización. Es una arquitectura cognitiva de IAG algo similar a 
OpenCog, y el financiamiento para el desarrollo de LIDA provino, en 
parte, de la Fuerza Naval de los Estados Unidos. LIDA está basada en una 
arquitectura (llamada IDA) usada por la fuerza naval para encontrar 
empleos para los marineros cuyas asignaturas están por terminar. Y al 
hacerlo, “ella” demuestra habilidades cognitivas humanas, o al menos así 
lo dice su departamento de prensa: 


Ella selecciona trabajos que le ofrecerá a un marinero, tomando en 
cuenta las políticas de la Fuerza Naval, las necesidades del trabajo, 
las preferencias del marineros y su propia deliberación con respecto 
a fechas factibles. Luego negocia con el marinero, en inglés, por 
medio de correo electrónico iterativo, respecto a la selección del 
trabajo. IDA pasa por un ciclo cognitivo en el cual ella percibe los 
entornos, internos y externos; crea significado, al interpretar el 
entorno y decidir qué es importante, y responde la única pregunta 
que existe (para los marineros): “¿Qué voy a hacer después?” 


Finalmente, como lo hemos discutido en el capítulo 3, hay muchos 
proyectos de IAG que se están llevando a cabo en este momento y que a 
propósito se están ocultando del radar. Las llamadas compañías furtivas a 
veces abiertamente expresan sus metas, como lo hace Adaptive Al de 
Voss, pero se quedan callados respecto a su técnica. Eso es porque no 
quieren revelar su tecnología ante competidores y copiones ni convertirse 
en blancos de espionaje. Otras empresas furtivas se ocultan del radar, 
pero no son tímidas a la hora de solicitar inversiones. Siri, la compañía 
que creó la bien recibida asistente personal con PLN listo para el iPhone 
de Apple, se registró literalmente como “Compañías Furtiva.” Aquí está el 
mensaje promocional previo al lanzamiento mostrado en su sitio web: 


Estamos formando la siguiente gran compañía de Silicon Valley. 
Nuestro propósito es básicamente rediseñar la cara de Internet para 
los consumidores. Nuestra política es mantenernos ocultos mientras 
le ponemos en secreto los toques finales al próximo gran avance. 
Antes de usted lo piense, revelaremos nuestra historia a lo grande... 


Ahora, consideremos el asunto del financiamiento y de DARPA, así 
como una historia extraña y circular que nos lleva de regreso hacia Siri. 

Desde los años 60 y hasta los 90, DARPA financió más investigación 
sobre IA que las corporaciones privadas y que ninguna otra rama del 
gobierno. Sin el financiamiento de DARPA, la revolución de las 
computadoras podría no haber ocurrido; si la inteligencia artificial 
alguna vez llegó a despegar, sin estos fondos hubiera tardado más años. 
Durante la “época de oro” de la IA en los años 60, la agencia invirtió en 
investigación sobre IA básica en CMU, MIT, Stanford y el Instituto de 
Investigación de Stanford. El trabajo de IA sigue prosperando en esas 
instituciones y algo significativo es que todas excepto Stanford 
abiertamente han reconocido que tienen planes de crear TAG, o algo muy 
similar. 

Muchos saben que DARPA (en ese entonces llamada ARPA) financió 
las investigaciones que inventaron Internet (inicialmente llamado 
ARPANET), así como a los investigadores que desarrollaron la hoy ubicua 
GUI (interfaz gráfica de usuario, por sus siglas en inglés), una versión de 
la cual usted probablemente vea cada vez que usa una computadora o un 
teléfono inteligente. Pero la agencia también fue una importante 
financiadora del hardware y el software de procesamiento paralelo, 
computación distribuida, visión de computadora y procesamiento del 
lenguaje natural (PLN). Estas contribuciones a las bases de la ciencia 
computacional son tan importantes para la IA como el financiamiento 
orientado a resultados que caracteriza hoy a DARPA. 

¿Cómo está gastando su dinero DARPA? Un presupuesto anual 
reciente destina 61.3 millones de dólares a una categoría llamada 
Aprendizaje de Máquina, y 49.3 millones de dólares a Computación 
Cognitiva. Los proyectos de IA también están financiados bajo Tecnología 
de la Información y las Comunicaciones, con 400.5 millones de dólares, y 
Programas Clasificados, con 107.2 millones de dólares. 

Como se describe en el presupuesto de DARPA, los objetivos de 
Computación Cognitiva son exactamente tan ambiciosos como usted se lo 
podría imaginar. 


El Programa de Sistemas de Computación Cognitiva... está 
desarrollando la siguiente revolución en tecnología de computación 
y procesamiento de la información que permitirá que los sistemas 
computacionales tengan capacidades de razonamiento y 
aprendizaje, así como niveles de autonomía muy superiores a los de 
los sistemas de hoy. 


La habilidad para razonar, aprender y adaptarse eleva la 
computación a nuevos niveles de aptitud y nuevas aplicaciones 
poderosas. El proyecto de Computación Cognitiva desarrollará 
tecnologías esenciales que permitirán que los sistemas 
computacionales aprendan, razonen y apliquen el conocimiento 
obtenido por medio de la experiencia y que respondan 
inteligentemente ante cosas con las que no se habían encontrado 


previamente. 
Estas tecnologías nos llevarán hasta sistemas que demuestren 
mayor autodependencia, reconfiguración autoadaptativa, 


negociación inteligente, comportamiento de cooperación y 
posibilidad de supervivencia con intervención humana reducida. 


Si a usted eso le suena como TAG, es porque hay buenas razones 
para creer que lo es. DARPA no hace investigación y desarrollo por sí 
misma, sino que financia a otros para que hagan esto, de modo que el 
dinero de su presupuesto va (principalmente) para universidades, 
presentado como subvención para investigaciones. Así, en adición a los 
proyectos de IAG que hemos discutido, cuyos creadores están derivando 
productos secundarios para financiar su camino hacia la IAG, un grupo 
más pequeño pero mejor financiado, anclado en las instituciones antes 
mencionadas, recibe el apoyo de DARPA. Por ejemplo, SyNAPSE de IBM, 
la cual discutimos en el capítulo 4, es un intento enteramente financiado 
por DARPA por construir una computadora con forma y función 
masivamente paralelas, como de cerebro de mamífero. Ese cerebro 
primero se pondrá dentro de robots que pretenden igualar la inteligencia 
de ratones y gatos, y finalmente en robots humanoides. A lo largo de 
ocho años, SyNAPSE le ha costado102.6 millones de dólares a DARPA. 
De manera similar, NELL de la Universidad de Carnegie Mellon está 
financiada principalmente por DARPA, con ayuda adicional por parte de 
Google y Yahoo. 

Ahora regresemos hasta Siri. CALO fue el proyecto fundado por 
DARPA para crear el Asistente Cognitivo que Aprende y Organiza (por 
sus siglas en inglés), una especie de Radar O” Reilly (un personaje del 
programa de televisión MASH) para los oficiales. Su nombre está 
inspirado en “calonis,” una palabra en latín que significa “sirviente del 
soldado.” CALO nació en SRI International, anteriormente conocido como 
el Instituto de Investigación de Stanford, una compañía creada para 
derivar proyectos comerciales a partir de las investigaciones de la 
universidad. ¿El propósito de CALO? De acuerdo con sitio web de SRI: 


El objetivo del proyecto es crear sistemas cognitivos de software, es 
decir, sistemas que puedan razonar, aprender a partir de la 
experiencia, recibir instrucciones, explicar lo que están haciendo, 
reflexionar respecto a su experiencia y responder fuertemente ante 
la sorpresa. 


Dentro de su propia arquitectura cognitiva, se suponía que CALO 
iba a reunir herramientas de IA, incluyendo procesamiento del lenguaje 
natural, aprendizaje de máquina, representación de los conocimientos, 
interacción humano-computadora y planeación flexible. DARPA financió 
a CALO de 2003 a 2008 e involucró a trescientos investigadores de 
veinticinco instituciones, incluyendo Boeing Phantom Works, Carnegie 
Mellon, Harvard y Yale. En cuatro años, las investigaciones generaron 
más de 500 publicaciones en muchos campos relacionados con IA. Y le 
costó 150 millones de dólares a quienes pagan impuestos dentro de los 
Estados Unidos. 

Pero CALO no funcionaba tan bien como se pretendía. Sin embargo, 
una parte era prometedora: el “hacedor” (en contraste con el buscador) 
que “hacía” cosas, como tomar dictado para correos electrónicos y textos, 
realizar cálculos y conversiones, buscar información sobre vuelos y fijar 
recordatorios. SRI, la compañía que está coordinando toda esta iniciativa, 
lanzó Siri (llamada Compañía Furtiva durante un tiempo breve) para 
recopilar 25 millones de dólares como una inversión adicional, y así 
desarrollar el “hacedor.” En 2008, Apple Computer compró Siri por unos 
200 millones de dólares. 

Hoy Siri está profundamente integrada dentro de TOS, el sistema 
operativo del iPhone. Es una fracción de lo que CALO prometía ser, pero 
es bastante más lista que muchas de las aplicaciones de los teléfonos 
inteligentes. Y ¿qué hay de los soldados a los que se supone que les iban 
a dar CALO? También a ellos les va a ir bien; la armada se va a llevar 
iPhones hacia la batalla, ya precargados con Siri y aplicaciones 
clasificadas específicamente planeadas para el combate. 

Así que una gran razón por la cual el financiamiento no va a ser un 
cuello de botella para la IAG y no va a retrasar una explosión de la 
inteligencia es que vivimos en un mundo en el cual quienes pagamos 
impuestos financiamos personalmente el desarrollo de la TAG; pagamos 
los componentes inteligentes de uno en uno, a través de DARPA (Siri), la 
fuerza naval (LIDA) y otras ramas abiertas y encubiertas de nuestro 
gobierno. Luego pagamos de nuevo por ello, al pagar por una nueva e 


importante característica de nuestros iPhones y computadoras. De hecho, 
SRI International ha derivado otro producto iniciado por CALO llamado 
Trapit. Es un “concierge de contenido,” una herramienta personalizada 
de búsqueda y descubrimientos en la red que encuentra el contenido que 
a usted le interesa y lo muestra en un sólo lugar. 

Otra razón por la cual la economía no retrasará una explosión de la 
inteligencia es ésta: cuando aparezca la IAG, o incluso cuando se acerque, 
todo el mundo querrá un poco. Y quiero decir todo el mundo. Goertzel 
señala que la llegada de los sistemas inteligentes de nivel humano 
tendrán implicaciones asombrosas para la economía mundial. Los 
fabricantes de IAG recibirán inmensas inversiones de capital para 
completar y comercializar la tecnología. La gama de productos y 
servicios que podrían proporcionar los agentes inteligentes de calibre 
humano es alucinante. Piense en trabajos de cuello blanco de todo tipo, 
¿quién no quisiera tener equipos tan inteligentes como los humanos que 
trabajaran todo el día en cosas que los humanos normales de carne y 
hueso hacen, pero sin descanso y sin error? Piense en la programación de 
computadoras, como lo dijo Steve Omohundro en el capítulo 5. Nosotros 
los humanos somos programadores terribles, y la inteligencia 
computacional sería especialmente adecuada para programar mejor que 
nosotros (y en breve usar ese conocimiento de programación para sus 
propios procesos internos.) 

De acuerdo con Goertzel: “Si una IAG pudiera entender su propio 
diseño, también podría entender y mejorar otro software de 
computadoras, y así tener un impacto revolucionario en la industria. 
Dado que la mayoría de los intercambios financieros en los mercados de 
los Estados Unidos ahora está impulsada por sistemas de intercambio de 
programas, es probable que semejante tecnología de IAG rápidamente se 
vuelva indispensable para la industria financiera. Las instituciones 
militares y de espionaje muy probablemente también encontrarían una 
gama de aplicaciones prácticas para semejante tecnología. Los detalles de 
cómo ocurriría esta locura por el desarrollo están abiertos al debate, pero 
al menos podemos estar seguros de que cualquier limitación al ritmo de 
crecimiento económico y al ambiente en cuanto inversiones dentro de un 
periodo de desarrollo de IAG pronto se volvería irrelevante.” 

Ahora, robotice la IAG —póngala en un cuerpo de robot— y todo el 
mundo se abre. Piense en trabajos peligrosos: minería, exploración del 
mar y espacio o trabajar como soldado, agente del orden o bombero. 
Agregue los trabajos de servicio: cuidadores de adultos mayores y niños, 
valets, sirvientas, asistentes personales. Jardineros, choferes, 


guardaespaldas y entrenadores personales robots. Ciencia, medicina y 
tecnología. ¿Qué iniciativa humana no podría avanzarse dramáticamente 
gracias a equipos de agentes incansables y finalmente sacrificables con 
inteligencia de nivel humano que trabajen para ella a lo largo de todo el 
día? 

Luego, como hemos discutido antes, la competencia internacional 
impulsará a muchas naciones a ofrecer pagar más por la tecnología, o las 
instará a echarle otro vistazo a los proyectos de investigación de IAG que 
tengan en casa. Goertzel dice: “Si un prototipo de IAG que funcione 
llegara a acercarse al nivel en que una explosión pareciera posible, los 
gobiernos de alrededor del mundo reconocerían que es una tecnología 
críticamente importante, y no se escatimarían en gastos para producir la 
primera IAG plenamente funcional “antes de que los del otro lado lo 
hagan.” Economías nacionales completas bien se podrían sublimar y 
enfocarse en el objetivo de desarrollar la primera máquina 
superinteligente. Muy a diferencia de limitar una explosión de la 
inteligencia, el nivel de crecimiento económico se definiría por los 
diversos proyectos de IAG que se estuvieran llevando a cabo alrededor 
del mundo.” 

En otras palabras, muchas cosas cambiarán una vez que estemos 
compartiendo el planeta con inteligencia tan lista como la humana, y 
luego cambiarán de nuevo cuando se detone la explosión de la 
inteligencia de Good y aparezca la SIA. 

Pero antes de pensar en estos cambios y en otros obstáculos 
importantes para el desarrollo de la IAG y la explosión de inteligencia, 
terminemos de abordar la pregunta del financiamiento como barrera 
crítica. Para expresarlo de manera sencilla, no es una barrera. El 
desarrollo de la TAG no carece de dinero, por tres razones. En primera, no 
hay escasez de proyectos de IA estrecha que apoyen o incluso se 
conviertan en componentes de los sistemas de IA general. En segunda, un 
puñado de proyectos “destapados” de IAG se están preparando y están 
avanzando de manera significativa gracias a varias fuentes de 
financiamiento, sin mencionar los probables proyectos encubiertos. En 
tercera, conforme la tecnología de IA se aproxime al nivel de TAG, una 
oleada de financiamiento la empujará hasta que cruce la meta. Tan 
grande será esta infusión de dinero que, de hecho, lo menos importante 
tomará el lugar de lo más importante. A menos que haya otro cuello de 
botella, la economía del mundo será motivada por la creación de 
inteligencia artificial fuerte, e impulsada por la aprensión global respecto 
a todas las formas en que cambiará nuestras vidas. 


Más adelante exploraremos otro obstáculo crítico: la complejidad 
del software. Descubriremos si el reto de crear arquitecturas de software 
que igualen la inteligencia de nivel humano es simplemente demasiado 
difícil de conquistar, y si todo lo que tenemos delante de nosotros es un 
invierno perpetuo para la IA o no. 


CAPÍTULO DOCE 


LA ÚLTIMA COMPLICACIÓN 


¿Cómo podemos estar tan seguros de que construiremos máquinas 
superinteligentes? Porque el progreso de la neurociencia deja en 
claro que nuestras maravillosas mentes tienen una base física, y 
para ahora deberíamos saber que nuestra tecnología puede hacer 
lo que sea mientras resulte físicamente posible. Watson, de IBM, 
que juega Jeopardy! con tanta habilidad como los campeones 
humanos, marca un hito importante e ilustra el progreso del 
procesamiento del lenguaje realizado por máquinas. Watson 
aprendió el lenguaje por medio de análisis estadístico de las 
inmensas cantidades de texto que están disponibles en línea. 
Cuando las máquinas se vuelvan lo suficientemente poderosas 
como para extender este análisis estadístico para correlacionar el 
lenguaje con los datos sensoriales, usted perderá un debate contra 
ellas si les alega que no entienden el lenguaje. 


Bill Hibbard, científico de LIA 


¿Es realmente tan descabellado creer que finalmente descubriremos 
los principios que hacen que la inteligencia funcione y que los 
implementaremos en una máquina, tal y como hemos hecho 
ingeniería inversa de nuestras propias versiones de características 
particularmente útiles de objetos naturales, como caballos e 
hiladores de las arañas? Aquí les va una noticia: el cerebro 
humano es un objeto natural. 


Michael Anissimov, director de medios de MIRI 


El sesgo de normalidad: el rechazo a planear para, o reaccionar 
ante, un desastre que nunca ha ocurrido. 


Tratamiento Breve e Intervención en Crisis 


Ciertos temas perdurables han emergido a partir de nuestra exploración 
de la explosión de la inteligencia. La AGI, cuando se logre —de acuerdo a 
la mayoría de las opiniones— será un sistema complejo, y los sistemas 
complejos fallan, ya sea que involucren software o no. Los sistemas y las 
arquitecturas cognitivas de IA que hemos comenzado a explorar son del 
tipo de sistemas que el autor de Accidentes normales, Charles Perrow 
podrían acusar de ser tan complejos que no podremos adelantarnos a la 
variedad de fallas combinadas que pudieran ocurrir. No es exageración 
decir que la IAG probablemente sea creada dentro de una arquitectura 
cognitiva cuyo tamaño y complejidad pudieran sobrepasar las de la 
reciente matriz de nube con 30,000 procesadores establecida por Cycle 
Computing. De acuerdo con lo que la propia compañía presume, Gato 
Monstruo es un sistema demasiado complejo para ser monitoreado (es 
decir, entendido) por un ser humano. 

Agregue a eso el hecho preocupante de que partes de los sistemas 
de IAG probables, como los algoritmos genéticos y las redes neuronales, 
inherentemente son inescrutables; no entendemos por completo por qué 
toman las decisiones que toman. Y sin embargo, de toda la gente que 
trabaja en cuestiones de IA e IAG, apenas una minoría está siquiera 
consciente de que hay peligros en el horizonte. La mayoría no está 
haciendo planes para escenarios de desastre ni respecto a respuestas que 
pudieran salvar vidas. En Chernobyl y Three Mile Island, los ingenieros 
nucleares tenían un profundo conocimiento de los escenarios y 
procedimientos de emergencia, y sin embargo no intervinieron 
eficazmente. ¿Qué posibilidad tienen las personas sin preparación de 
manejar una IAG? 

Por último, tenga en cuenta a DARPA. Sin DARPA, la ciencia 
computacional y todo lo que obtenemos gracias a ella estaría en un 
estado mucho más primitivo. La IA estaría muy rezagada, y eso si 
siquiera existiera. Pero DARPA es la agencia de defensa. ¿Estará 
preparada DARPA para lo compleja e inescrutable que será la TAG? 
¿Podrá prever que la IAG tendrá sus propios impulsos, más allá de las 
metas para la cual sea creada? ¿Los concesionarios de DARPA van a 
hacer que la IA avanzada sea un arma sin antes haber creado una política 
de ética en relación a su uso? 


Las respuestas a estas preguntas pueden no  gustarnos, 
particularmente porque el futuro de la raza humana esté en juego. 
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Considere la siguiente posible barrera a una explosión de la inteligencia: 
la complejidad del software. El planteamiento es este: nunca 
alcanzaremos la IAG ni la inteligencia de nivel humano, porque resultará 
ser demasiado difícil. Si eso sucede, ninguna IAG se mejorará lo 
suficiente como para detonar una explosión de la inteligencia. Nunca 
creará una iteración ligeramente más lista de sí misma, así que esa 
versión no construirá una versión más inteligente, y así sucesivamente. 
La misma restricción se aplicaría a las interfaces humano-computadora; 
podrían aumentar y acrecentar la inteligencia humana, pero nunca la 
rebasarían en realidad. 

Sin embargo, en cierto sentido ya hemos sobrepasado la IAG, o el 
nivel de inteligencia de cualquier humano, gracias a un impulso de la 
tecnología. Sólo combine a un humano con coeficiente intelectual 
promedio con el buscador de Google, y obtiene un equipo que es más 
inteligente que un humano —un humano cuya inteligencia se ha 
acrecentado. Al en vez de IA. Vernor Vinge cree que ésta es una de tres 
rutas certeras a una explosión de la inteligencia en el futuro, cuando un 
aparato pueda adherirse a su cerebro para imbuirlo con velocidad, 
memoria e inteligencia adicional. 

Piense en el ser humano más inteligente que le venga a la mente, y 
póngalo a competir contra nuestro equipo hipotético humano-Google en 
una prueba de conocimiento y factorización de datos. El equipo humano- 
Google ganaría por mucho. En la resolución de problemas complejos, el 
humano más inteligente probablemente ganaría, aunque si estuvieran 
armados con el total de los conocimientos que están en la red, Google y 
compañía podrían hacer que la competencia estuviera reñida. 

¿El conocimiento es lo mismo que la inteligencia? No, pero los 
conocimientos son un amplificador de la inteligencia, si es que la 
inteligencia es, entre otras cosas, la habilidad de actuar de manera 
diestra y poderosa dentro de su entorno. El empresario y fabricante de 
IA, Peter Voss especuló que si Aristóteles hubiera poseído la base de 
conocimientos de Einstein, se le podría haber ocurrido la teoría de la 
relatividad general. El buscador de Google, Inc. en particular ha 
multiplicado la productividad de los trabajadores, especialmente dentro 
de ocupaciones que requieren investigación y escritura. Tareas que 


anteriormente requerían investigación que consumía mucho tiempo —un 
viaje a la biblioteca para revisar libros y publicaciones periódicas, 
realizar búsquedas en Lexis/Nexis y ubicar expertos y escribirles o 
llamarles por teléfono— hoy son rápidas, sencillas y baratas. Mucha de 
esta productividad incrementada se debe, desde luego, a Internet como 
tal. Pero el océano vasto de información que contienen es avasallador sin 
herramientas inteligentes para extraer la pequeña fracción que usted 
necesita. ¿Cómo lo hace Google? 

El algoritmo patentado de Google llamado PageRank le asigna a 
cada sitio de todo Internet una puntuación que va del O al 10. Una 
calificación de 1 en PageRank (supuestamente llamada así en honor al 
cofundador de Google, Larry Page y no porque califique páginas web) 
significa que una página tiene el doble de “calidad” que un sitio con un 
PageRank de O. Una puntuación de 2 significa el doble de calidad que la 
puntuación de 1, y así sucesivamente. 

Muchas variables son responsables de la “calidad.” El tamaño es 
importante; los sitios web más grandes son mejores, al igual que los más 
antiguos. ¿La página tiene mucho contenido —palabras, elementos 
gráficos, opciones descargables? Si es así, recibe una calificación más 
alta. ¿Qué tan veloz es el sitio y cuántas ligas a sitios web de alta calidad 
tiene? Ésos factores y más aumentan las calificaciones de PageRank. 

Cuando usted introduce una palabra o frase, Google realiza un 
análisis de empatado de hipertexto para encontrar los sitios más 
relevantes para su búsqueda. El análisis de empatado de hipertexto busca 
la palabra o frase que usted escribió, pero también sondea el contenido 
de la página, incluyendo la riqueza del uso de tipografía, las divisiones 
entre páginas y el lugar donde son colocadas las palabras. Se fija en cómo 
es que sus palabras de búsqueda son utilizadas por la página, y por 
páginas vecinas en este sitio. Dado que PageRank ya ha elegido los sitios 
más importantes de todo Internet, Google no tiene que evaluar la red 
entera en cuanto a relevancia, sólo los sitios de más alta calidad. El 
empatado de texto combinado con las calificaciones proporciona miles de 
sitios en segundos, milisegundos, o tan rápido como usted pueda teclear 
su consulta. 

Ahora, ¿qué tanto más productivo es un equipo de trabajadores de 
la información en la actualidad que antes de Google? ¿El doble de 
productivo? ¿Cinco veces más productivo? ¿Cuál es el impacto que tiene 
sobre nuestra economía el hecho de que la productividad de un 
porcentaje tan grande de trabajadores se haya duplicado o triplicado o 
más? Del lado positivo, obtenemos un producto interno bruto más alto, 


debido al impacto de la tecnología de la información sobre la 
productividad de los trabajadores. En cuanto al lado oscuro, vemos 
desplazamiento y desempleo de los trabajadores, provocados por una 
gama de tecnologías de la información, incluyendo a Google. 

La programación ingeniosa no debería confundirse con la 
inteligencia, por supuesto, pero yo alegaría que Google y similares son 
herramientas inteligentes, no sólo programas ingeniosos. Han dominado 
un ámbito estrecho —la búsqueda— con una habilidad que ningún 
humano podría alcanzar. Más allá de eso, Google pone Internet —la 
compilación más grande de conocimientos humanos jamás acumulada— 
al alcance de sus dedos. Y, significativamente, todo ese conocimiento está 
disponible en un instante, más rápido que nunca antes (disculpen, Yahoo, 
Bing, Altavista, Excite, Dogpile, Hotbot y Love Calculator). Escribir a 
veces ha sido descrito como subcontratar la memoria. Nos permite 
almacenar nuestros pensamientos y recuerdos para su posterior retiro y 
distribución. Google subcontrata tipos de inteligencia importantes que no 
poseemos, y que no podríamos desarrollar sin él. 

Combinados, Google y usted son SIA. 

De manera similar, nuestra inteligencia es ampliamente acrecentada 
gracias a la movilización de tecnología de la información poderosa, por 
ejemplo nuestros teléfonos móviles, muchos de los cuales tienen 
aproximadamente el poder de computación de las computadoras 
personales de alrededor del 2000, y mil millones de veces el poder por 
dólar de las computadoras centrales de la era de los años 60. Los 
humanos somos móviles, y para realmente ser relevantes, nuestras 
mejoras de la inteligencia deben ser móviles. Internet y otras clases de 
conocimientos —entre ellos la navegación, que no es el menos 
importante de ellos— obtienen nuevas dimensiones y vasto poder 
conforme podemos llevarlos a donde quiera que vayamos. Por poner un 
simple ejemplo, ¿qué valor tiene para usted su computadora de escritorio 
cuando está perdido en la noche en una zona repleta de crimen de una 
ciudad? Le apuesto que no tanto como su iPhone con su aplicación 
parlante de navegación. 

Por motivos de este tipo, el escritor de la Reseña de Tecnología de 
MIT, Evan Schwartz audazmente asevera que los teléfonos móviles se 
están convirtiendo en la “herramienta primaria de la humanidad.” 
También hace notar que más de cinco mil millones de ellos están 
implementados a nivel mundial, es decir que casi hay uno por persona. 

El siguiente paso para el acrecentamiento de la inteligencia es poner 
todas las mejoras dentro de un teléfono inteligente dentro de nosotros, 


conectarlo a nuestros cerebros. Ahora nos interrelacionamos con nuestras 
computadoras con nuestros oídos y ojos, pero en el futuro imagínese 
aparatos implantados que permitan que nuestros cerebros se conecten 
inalámbricamente a una nube, desde cualquier lugar. De acuerdo con 
Nicholas Carr, autor de Gran cambio, eso es lo que el cofundador de 
Google Larry Page tiene en mente para el futuro del buscador. 

“La idea es que usted ya no necesita sentarse ante un teclado para 
localizar información,” dijo Carr. “Se vuelve automático, una especie de 
ejecución máquina-mente. Larry Page ha discutido un escenario en el que 
usted simplemente hace una pregunta, y Google le susurra la respuesta al 
oído por medio de su teléfono celular.” Vea, por ejemplo, el reciente 
anuncio del “proyecto Glass.” Se trata de anteojos que le permiten 
realizar consultas a Google y ver los resultados mientras va caminando 
por la calle, justo en su campo de visión. 

“Imagine un futuro muy cercano en el que no se le olvide nada 
porque la computadora lo recuerda,” dijo el anterior director general de 
Google, Eric Schmidt. “Usted jamás está perdido. Nunca se siente solo.” 
Con la introducción de un asistente virtual tan competente como Siri en 
el iPhone, el primer paso en este escenario se ha logrado. En el campo de 
las búsquedas, Siri tiene una inmensa ventaja por encima de Google: 
proporciona una respuesta. Google proporciona decenas de miles, o 
incluso millones de “hits” que pueden ser relevantes para su búsqueda o 
no. En una cantidad limitada de ámbitos —búsqueda general, 
localización de direcciones, localización de negocios, programación de 
citas, correo electrónico, textos y actualización de perfiles en redes 
sociales— Siri intenta determinar el contexto y el significado de su 
consulta y darle una respuesta, la mejor. Eso sin mencionar que Siri lo 
escucha, y agrega reconocimiento de voz a la búsqueda móvil avanzada. 
Da sus respuestas en forma hablada. Y, supuestamente, aprende. De 
acuerdo con las patentes recientemente registradas por Apple, Siri pronto 
podrá interactuar con minoristas en línea para comprar artículos como 
libros y ropa, e incluso participar en foros en línea y llamadas para apoyo 
a clientes. 

No voltee, pero acabamos de pasar por un inmenso hito dentro de 
nuestra propia evolución. Estamos conversando con máquinas. Este es un 
cambio mucho más grande que GUL, la Interfaz Gráfica de Usuario creada 
por DARPA y llevada a los consumidores por Apple (con un 
agradecimiento para PARC, del Centro de Investigación de Palo Alto de 
Xerox). La promesa de GUI y su metáfora para el escritorio era que las 
computadoras podrían trabajar como lo hacen los humanos, con 


escritorios y archivos, y un mouse que era una representación de la 
mano. La idea de DOS era lo contrario: para trabajar con computadoras, 
usted tenía que aprender su lenguaje, formado por comandos inflexibles 
tecleados a mano. Ahora estamos en un lugar completamente diferente. 
Las tecnologías del mañana tendrán éxito o fracasarán según su habilidad 
de aprender lo que hacemos, y de ayudarnos a hacerlo. 

Al igual que con GUI, los sistemas operativos que no ganaron 
seguirán la pauta de la innovación liberadora de Apple, Siri, o perecerán. 
Y por supuesto que el lenguaje natural logrará migrar a computadoras de 
escritorio y tablets y, antes de que pase mucho tiempo, a todo aparato 
digital, incluyendo hornos, lavadoras de platos, calentadores para el 
hogar, enfriadores, sistemas de entretenimiento y autos. Todos ellos están 
controlados por ese teléfono que está en su bolsillo, el cual ha 
evolucionado hasta convertirse en algo completamente diferente. No es 
un asistente virtual, sino un asistente y punto, con capacidades que se 
multiplicarán con velocidad que se acelera. Y casi por casualidad ha 
iniciado un verdadero diálogo entre los humanos y las máquinas que 
durará tanto como dure nuestra especie. 

Pero regresemos al presente por un momento y escuchemos a 
Andrew Rubin, el vicepresidente senior de plataformas móviles de 
Google. Si se sale con la suya, el sistema operativo Android de Google no 
participará en ningún juego de asistentes virtuales. “No creo que su 
teléfono tenga que ser un asistente,” dijo Rubin, lo cual es una de las 
declaraciones que más claramente muestran una oportunidad perdida 
que usted llegará a escuchar. “Su teléfono es una herramienta para 
comunicarse. No debería estarse comunicando con el teléfono; debería 
estarse comunicando con alguien que está del otro lado del teléfono.” 
Alguien debería delicadamente informarle a Rubin acerca de la función 
de acciones de voz que su equipo ya ha colado dentro del sistema 
Android. Ellos saben que el futuro justamente se trata de comunicarse 
con su teléfono. 
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Ahora, aunque usted más Google equivalgan a una especie de 
inteligencia más grande que la humana, no es del tipo del que surgiría 
una explosión de la inteligencia ni conduciría hacia una de ellas. 
Recuerde que una explosión de inteligencia requiere un sistema que esté 
consciente de sí mismo y que se mejore a sí mismo, y que tenga los 
superpoderes computacionales necesarios: que funcione 24 horas al día y 


siete días a la semana con total concentración, que inunde los problemas 
con copias múltiples de sí mismo, que piense de manera estratégica a un 
ritmo asombroso, y más. Podría decirse que usted y Google juntos 
componen una categoría especial de superinteligencia, pero su 
crecimiento está limitado por usted y por Google. Usted no puede 
proporcionar consultas para Google a un ritmo que siquiera se asemeje a 
24 horas al día y siete días a la semana, y Google, aunque le ahorre 
tiempo de investigación, le hace desperdiciar su tiempo al obligarlo a 
realizar una selección entre demasiadas respuestas en busca de la mejor. 
E incluso al trabajar juntos, es probable que usted no sea un gran 
programador, y Google no sabe programar en absoluto. Así que incluso si 
usted pudiera ver los defectos que haya en sus sistemas combinados, sus 
intentos por mejorarlos probablemente no serían lo suficientemente 
buenos como para obtener avances incrementales, y luego volverlo a 
hacer. No hay explosión de la inteligencia para usted. 

¿El acrecentamiento de la inteligencia (IA) alguna vez podrá dar pie 
a una explosión de la inteligencia? Por supuesto, más o menos dentro de 
la misma línea de tiempo que la IAG. Sólo imagínese a un humano, a una 
programadora de élite, cuya inteligencia esté tan poderosamente 
acrecentada que sus ya formidables habilidades de programación se 
vuelvan mejores—más rápidos, con más conocimientos y en armonía con 
mejoras que pudieran incrementar su poder intelectual general. Este 
post-humano hipotético podría programar su próximo acrecentamiento. 
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Regresemos a la complejidad del software. Todo indica que los 
investigadores en computación de todo el mundo están trabajando duro 
para armar los ingredientes combustibles de una explosión de 
inteligencia. ¿La complejidad del software es una barrera mortal para su 
éxito? 

Uno puede darse una idea de qué tan difícil es el problema de la 
complejidad del software de IAG al encuestar a los expertos respecto a 
qué tan pronto podemos esperar su llegada. En un extremo de la escala 
está Peter Norvig, el director de investigación de Google, quien, como lo 
hemos discutido, no tiene interés en especular y se limita a decir que la 
IAG es algo demasiado lejano como para hacer especulaciones al 
respecto. Entre tanto, sus colegas, dirigidos por Ray Kurzweil, proceden 
con su desarrollo. 

En el otro extremo, Ben Goertzel, quien, al igual que Good, piensa 


que alcanzar la IAG sólo es una cuestión de dinero, dice que no es 
demasiado pronto esperarla antes de 2020. Ray Kurzweil, quien 
probablemente sea el mejor pronosticador de tecnología que haya 
existido, predice que habrá IAG para 2029, pero no considera que haya 
SIA sino hasta 2045. Reconoce los riesgos pero dedica su energía a 
abogar por la probabilidad de una larga travesía sin dificultades a través 
del canal de parto digital. 

Mi sondeo informal de unos doscientos científicos de la 
computación durante una reciente conferencia sobre IAG confirmó lo que 
esperaba. Las Conferencias sobre IAG anuales, organizadas por Goertzel, 
son reuniones que duran tres días para personas que están activamente 
trabajando para crear inteligencia artificial general, o gente como yo, que 
simplemente está profundamente interesada. Presentan papeles, 
demuestran software y compiten por obtener el derecho de presumir. Yo 
asistí a una de ellas, que tuvo como generoso anfitrión a Google y que 
fue en su sede en Mountain View, California, frecuentemente llamada el 
Googleplex. Le pregunté a los asistentes cuándo se alcanzaría la 
inteligencia artificial general, y sólo les di cuatro opciones: para 2030, 
para 2050, para 2100 o jamás. El desglose quedó de esta manera: 42 por 
ciento vaticinó que la IAG se alcanzaría para 2030; 25 por ciento, para 
2050; 20 por ciento, para 2100; 10 por ciento después de 2100 y 3 por 
ciento, jamás. Este sondeo de un grupo autoseleccionado confirmó el 
tono optimista y los rangos de fechas de encuestas más formales, una de 
las cuales cité en el capítulo 2. En una sección de respuestas por escrito, 
me criticaron por no incluir una opción de fechas anteriores a 2030. 
Supongo que quizá 2 por ciento de quienes respondieron hubieran 
calculado que se alcanzaría la IAG para 2020, y que otro 2 por ciento 
hubiera dicho incluso que antes. En el pasado me asombraba este 
optimismo, pero ya no. He tomado el consejo de Kurzweil, y pienso en el 
progreso de la tecnología de la información de manera exponencial y no 
lineal. 

Pero ahora, cuando usted se encuentre en una sala llena de personas 
que le apuestan mucho a la investigación sobre IAG, para divertirse, 
afirme: “¡La IAG nunca se va alcanzar! Simplemente es demasiado 
difícil.” Goertzel, por ejemplo, respondía ante esto al mirarme como si 
hubiera empezado a predicar sobre diseño inteligente. Goertzel 
ocasionalmente es profesor de matemáticas, como Vinge, y toma 
lecciones para el futuro de la IA a partir de la historia del cálculo. 

“Si usted revisa cómo hacían cálculo los matemáticos antes de Isaac 
Newton y Gottfried Leibnitz, requerían cien páginas para calcular la 


derivada de un polinomio cúbico. Lo hacían con triángulos, triángulos 
similares, diagramas extraños y así sucesivamente. Era opresivo. Pero 
ahora que tenemos una teoría más refinada del cálculo, cualquier idiota 
que vaya en la escuela preparatoria pueda sacar la derivada de un 
polinomio cúbico. Es sencillo.” 

Como lo sucedió con el cálculo hace siglos, la investigación sobre IA 
procederá con un incremento gradual hasta que la práctica continua nos 
lleve al descubrimiento de nuevas reglas teóricas, unas reglas que les 
permitan a los investigadores de IA condensar y abstraer mucho de su 
trabajo, y en ese punto el progreso hacia la IAG se volverá más fácil y 
más rápido. 

“Newton y Leibnitz desarrollaron herramientas como la regla de la 
suma, la regla del producto, la regla de la cadena y todas esas reglas 
básicas que usted aprende en la clase de cálculo elemental,” continuó. 
“Antes de que tuviera estas reglas, tenía que hacer cada problema de 
cálculo a partir de cero, y era tremendamente más difícil. Así que en 
cuanto a las matemáticas de la IA, estamos en el nivel de hacer cálculo 
como antes de Newton y Leibnitz, así que comprobar incluso cosas muy 
sencillas acerca de la IA requiere una cantidad descabellada de cálculos 
ingeniosos. Pero a la larga tendremos una buena teoría de la inteligencia, 
justo como ahora tenemos una buena teoría de cálculo. 

Pero no tener una buena teoría no es un factor decisivo. 

Goertzel dice: “Puede ser que necesitemos un avance científico en la 
teoría rigurosa de inteligencia general antes de que podamos crear con 
ingeniería un sistema avanzado de IAG. Pero en este momento sospecho 
que no. Mi opinión es que debería ser posible crear un sistema poderoso 
de IAG al proceder paso a paso a partir del actual estado del 
conocimiento, realizar ingeniería sin un entendimiento plenamente 
riguroso de la inteligencia general.” Como hemos discutido, el proyecto 
OpenCog de Goertzel organiza el software y el hardware en una 
“arquitectura cognitiva” que simula lo que la mente hace. Y esta 
arquitectura puede volverse algo poderoso y quizá impredecible. En 
algún momento en el camino de su desarrollo, antes de que nazca una 
teoría abarcadora de inteligencia general, afirma Goertzel, OpenCog 
podría alcanzar la TAG. 

¿Suena descabellado? La revista New Scientist planteó que LIDA, de 
la Universidad de Memphis —un sistema que discutimos en el capítulo 
11, similar a OpenCog— muestra señales de conciencia rudimentaria. A 
grandes rasgos, el principio que rige a LIDA, conocido como teoría del 
espacio de trabajo global, sostiene que en los humanos las percepciones 


alimentadas por los sentidos se filtran en el inconsciente hasta que se 
vuelven lo suficientemente importantes como para ser transmitidas por 
todo el cerebro. Eso es la conciencia, y puede ser medida a través de 
simples tareas de percatación, como apretar un botón cuando una luz se 
ponga verde. Aunque utiliza un botón “virtual,” LIDA saca puntuaciones 
similares a las de un humano cuando se le hacen pruebas respecto a estas 
tareas. 

Con tecnologías como estas, el enfoque de esperemos-a-ver-qué-pasa 
de Goertzel me parece riesgoso. Insinúa que se creará lo que ya he 
descrito: inteligencia de máquina poderosa que es similar a la de un 
humano, pero no equivalente a, y mucho menos factible de ser conocida. 
Da a entender que habrá sorpresa, como si una IAG pudiera simplemente 
presentarse un día y dejarnos insuficientemente preparados para 
accidentes “normales,” y desde luego sin medidas de seguridad como la 
IA formal y Amigable. Es un poco parecido a decir: “Si caminamos 
suficiente tiempo en el bosque nos encontraremos a los osos 
hambrientos.” Eliezer Yudkowsky tiene temores similares. Y, al igual que 
Goertzel, no piensa que la complejidad del software sea un obstáculo en 
el camino. 

“La IAG es un problema que el cerebro puede curar,” me dijo. “El 
cerebro humano lo puede hacer; no puede ser tan complicado. La 
selección natural es estúpida. Si la selección natural puede solucionar el 
problema de la IAG, no puede ser tan difícil en un sentido absoluto. La 
evolución generó la IAG con facilidad al cambiar cosas al azar y quedarse 
con lo que funcionaba. Siguió un camino incremental sin previsón.” 

El optimismo de Yudkowsky respecto a alcanzar la IAG empieza con 
la idea de que la inteligencia de nivel humano ha sido lograda una vez 
por la naturaleza: en los humanos. Los humanos y los chimpancés 
tuvieron un antepasado común hace unos cinco millones de años. Hoy los 
cerebros humanos tienen cuatro veces el tamaño de los cerebros de 
chimpancé. Así que al tomarse unos cinco millones de años, la “estúpida” 
selección natural permitió que gradualmente fuera creciendo la 
proporción del tamaño del cerebro y que surgiera una criatura mucho 
más inteligente que ninguna otra. 

Con concentración y previsión, los humanos “inteligentes” deberían 
poder crear inteligencia de nivel humano mucho más rápido que la 
selección natural. 

Pero, eso sí, como indica Yudkowsky, habrá un problema gigante 
para toda la galaxia si alguien alcanza la IAG antes de que él u otros 
investigadores averiguen cómo obtener IAG Amigable o alguna manera de 


controlar la IAG de manera confiable. Si la IAG surge de la ingeniería con 
incrementos graduales durante una intersección fortuita de esfuerzo y 
accidente, como lo plantea Goertzel, ¿no sería probable una explosión de 
la inteligencia? Si la IAG está consciente de sí misma y se mejora a sí 
misma, como lo hemos definido, ¿no se empeñará en cumplir con 
impulsos básicos que podrían ser incompatibles con nuestra 
supervivencia, como lo discutimos en los capítulos 5 y 6? En otras 
palabras, ¿no sería probable que una IAG sin contener nos matara a 
todos? 

“La AGI es el reloj que hace tic-tac,” dijo Yudkowski, “la fecha 
límite para la cual tenemos que construir la IA Amigable, lo cual es más 
difícil. Necesitamos la IA Amigable. Con la posible excepción de la 
nanotecnología, si se soltara para que estuviera libre por el mundo, 
simplemente no hay nada en todo ese catálogo de desastres que se 
pudiera comparar con la IAG.” 

Desde luego que surgen tensiones entre los teóricos de la IA como 
Yudkowsky y los fabricantes de la IA como Goertzel. Mientras que 
Yudkowsky alega que crear IAG es un error catastrófico a menos que sea 
comprobablemente amigable, Goertzel quiere desarrollar la IAG lo más 
pronto posible, antes de que una infraestructura plenamente 
automatizada haga más fácil que una SIA tome el control. Goertzel ha 
recibido correos electrónicos, aunque no de parte de Yudkowsky ni de 
sus colegas, que advierten que si sigue adelante con el desarrollo de IAG 
que no sea comprobablemente segura, estaría “cometiendo el 
Holocausto.” 

Pero aquí está la paradoja. Si Goertzel dejara de buscar la IAG y 
dedicara su vida a abogar por que todos los demás también se 
detuvieran, no importaría ni un ápice. Otras compañías, gobiernos y 
universidades seguirían adelante con su investigación. Por esta justa 
razón, Vinge, Kurzweil, Omohundro y otros creen que la renuncia, o 
darse por vencidos en cuanto a la búsqueda de la IAG, no es una opción 
viable. De hecho, con tantas naciones imprudentes y peligrosas en el 
planeta —como Corea del Norte e Irán, por ejemplo— y con el crimen 
organizado en Rusia y los criminales apoyados por el estado en China 
que están lanzando ola tras ola de virus de la siguiente generación y 
ciberataques, la renuncia simplemente le cedería el futuro a chiflados y 
gángsters. 

Una estrategia defensiva que más probablemente ganaría nuestra 
supervivencia es una que Omohundro ya inició: una ciencia completa 
para entender y controlar los sistemas conscientes de sí mismos que se 


mejoran a sí mismos, es decir la IAG y la SIA. Y debido a los retos de 
desarrollar un antídoto como la IA Amigable antes de que se cree la IAG, 
el desarrollo de esta ciencia debe darse aproximadamente al mismo 
tiempo. Luego, cuando surja la IAG, ya existirá su sistema de control. 
Desafortunadamente para todos nosotros, los investigadores de IAG 
llevan una inmensa ventaja, y como dice Vernor Vinge, vientos 
económicos globales impulsan sus velas. 
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Si el problema del software resulta ser intratablemente complejo, todavía 
quedan al menos dos flechas en la carcaza de quien busca IAG. Son, en 
primera, dominar el problema por medio de computadoras más veloces y, 
en segunda, hacer ingeniería inversa del cerebro. 

Convertir un sistema de IA en IAG a través de fuerza bruta significa 
incrementar la funcionalidad del hardware de la IA, particularmente su 
velocidad. La inteligencia y la creatividad se incrementan si operan 
muchas veces más rápido. Para ver cómo, imagínese a un humano que 
pudiera pensar durante lo equivalente a mil minutos en un minuto. En 
sentidos relevantes, es muchas veces más inteligente que alguien con el 
mismo coeficiente intelectual base que piense a velocidad normal. Pero 
¿la inteligencia necesita empezar a nivel humano para que un incremento 
en velocidad tenga un impacto sobre la inteligencia? Por ejemplo, si 
usted acelera mil veces el cerebro de un perro, ¿consigue un 
comportamiento equivalente al de un chimpancé, o sólo consigue un 
perro muy listo? Sabemos que con un incremento cuádruple en cuanto a 
tamaño cerebral, del tamaño de chimpancé al de humano, los humanos 
adquirieron al menos un nuevo superpoder: el habla. Los cerebros más 
grandes evolucionaron gradualmente, mucho más despacio que el ritmo 
al que habitualmente se incrementa la velocidad de un procesador. 

En general, no queda claro si, en ausencia de software inteligente, 
la velocidad de un procesador pudiera llenar el vacío y abrir el camino 
rumbo a la IAG y más allá, hasta llegar a una explosión de inteligencia. 
Pero tampoco parece ser algo imposible. 
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Ahora miremos lo que llaman “ingeniería inversa” del cerebro y 
descubramos por qué podría ser un respaldo para resolver el problema de 
la complejidad del software. Hasta ahora hemos visto brevemente el 


enfoque opuesto: crear arquitecturas cognitivas que en general buscan 
modelar el cerebro en cuanto a tareas como percepción y navegación. 
Estos sistemas cognitivos están inspirados en la forma en que funciona el 
cerebro o —y esto es importante— en la forma en que los investigadores 
perciben que el cerebro funciona. Con frecuencia los llaman sistemas de 
novo, o sistemas “desde el principio,” porque no están basados en 
cerebros reales, y empiezan de cero. 

El problema es que los sistemas que están inspirados por modelos 
cognitivos finalmente pueden no lograr lo que un cerebro humano hace. 
Aunque hay muchos avances prometedores en cuanto a lenguaje natural, 
visión, sistemas de preguntas y respuestas y robótica, hay un desacuerdo 
respecto a casi todo aspecto de la metodología y los principios que 
finalmente permitirán progresar hacia la IAG. Subcampos, así como 
audaces teorías universales, surgen debido a un éxito temprano o a la 
capacidad de promocionarse de un individuo o una universidad. Pero con 
igual rapidez desaparecen de nuevo. Como dijo Goertzel, no hay una 
teoría de la inteligencia y de cómo alcanzarla computacionalmente que 
sea aceptada de manera general. Además, hay funciones de la mente 
humana que las técnicas actuales de software parecen estar poco 
preparadas para abordar, incluyendo aprendizaje general, explicación, 
introspección y control de la atención. 

Así que ¿qué es lo que realmente se ha logrado en cuanto a IA? 
Piense en el viejo chiste acerca del borracho que pierde las llaves de su 
coche y las busca bajo un farol de la calle. Un policía se une a su 
búsqueda y le pregunta: ¿Exactamente dénde perdió sus llaves? El 
hombre señala al otro lado de la calle, hacia una esquina oscura. “Allá,” 
dice. “Pero la luz está mucho mejor acá.” 

Búsquedas, reconocimiento de voz, visión de computadora y análisis 
de afinidad (el tipo de aprendizaje de máquina que usan Amazon y 
Netflix para recomendarle cosas que le podrían gustar) son algunos de los 
campos de IA que han tenido el mayor éxito. A pesar de que fueron el 
resultado de décadas de investigación, también están entre los problemas 
más sencillos, aquellos que se descubrieron donde la luz está mejor. Los 
investigadores los llaman “fruta que cuelga al alcance de la mano.” Pero 
si su meta es la IAG, entonces todas las aplicaciones y herramientas 
estrechas de IA pueden parecerle fruta que cuelga al alcance de su mano, 
y sólo lo están acercando marginalmente a su meta de equivalencia con 
los humanos. Algunos investigadores sostienen que las aplicaciones 
estrechas de IA de ninguna manera están ayudando al avance hacia la 
IAG. Son aplicaciones especializadas no integradas. Y en este momento 


ningún sistema de inteligencia artificial manifiesta una equivalencia 
general humana. ¿Usted también está frustrado por las grandes promesas 
de la IA y los dividendos insignificantes? Dos observaciones hechas por 
muchos pueden influir en su sentir. 

Primero, como lo indicó Nick Bostrom, director del Instituto del 
Futuro de la Humanidad en la Universidad de Oxford: “Mucha IA de 
vanguardia se ha filtrado hacia las aplicaciones generales, con frecuencia 
sin ser llamada IA, porque una vez que algo se vuelve lo suficientemente 
útil y lo suficientemente común ya no se le etiqueta como IA.” Hace no 
mucho, la IA no estaba incrustada en la banca, la medicina, el transporte, 
la infraestructura crítica ni los automóviles. Pero hoy, si usted de repente 
retirara la IA de estas industrias, no podría conseguir un préstamo, su 
electricidad no funcionaría, su coche no arrancaría y la mayoría de los 
trenes y trenes subterráneos se detendrían. La manufactura de 
medicamentos se frenaría, las llaves de agua estarían secas y los jets 
comerciales caerían desde el cielo; las tiendas de abarrotes no estarían 
surtidas y las acciones no podrían comprarse. Y ¿cuándo se 
implementaron todos esos sistemas de IA? En los últimos treinta años, en 
el llamado invierno de la IA —un término utilizado para describir un 
largo declive en cuanto a confianza de los inversionistas— después de 
que demostraron ser falsas las predicciones tempranas con respecto a la 
IA exageradamente optimistas. Pero no hubo un verdadero invierno. Para 
evitar el estigma de la etiqueta “inteligencia artificial,” los científicos 
usaron nombres más técnicos como aprendizaje de máquinas, agentes 
inteligentes, inferencia probabilística, redes neuronales avanzadas y 
Otros. 

Y sin embargo continúa el problema de la acreditación. Ámbitos 
anteriormente considerados como exclusivamente humanos —el ajedrez 
y Jeopardy!, por ejemplo— ahora le pertenecen a las computadoras 
(aunque todavía tenemos permiso de jugar). Pero ¿usted considera que el 
juego de ajedrez que venía con su PC sea “inteligencia artificial”? El 
Watson de IBM ¿es similar a un humano, o simplemente es un sistema de 
preguntas y respuestas especializado y de gran poder? ¿Cómo les 
llamaremos a los científicos cuando las computadoras, por ejemplo la 
acertadamente llamada Golem de Hod Lipsom en la Universidad de 
Cornell, empiecen a realizar ciencia? Mi punto es éste: desde el día en 
que John McCarthy le puso nombre a la ciencia de la inteligencia de 
máquinas, los investigadores han estado desarrollando IA con celeridad y 
fuerza, y se está volviendo más lista, más veloz y más poderosa todo el 
tiempo. 


El éxito de la IA en ámbitos como el ajedrez, la física y el 
procesamiento del lenguaje natural hace que surja una segunda 
observación importante. Las cosas difíciles son fáciles y las cosas fáciles 
son difíciles. A ese axioma se le conoce como paradoja de Moravec, 
porque el pionero en IA y robótica, Hans Moravec la expresó de la mejor 
manera en su texto clásico sobre robótica, Niños de la mente: “Es 
comparativamente fácil hacer que las computadoras exhiban un 
desempeño de nivel adulto en pruebas de inteligencia o en un juego de 
damas, y difícil o imposible darles las habilidades de un niño de un año 
en lo que respecta a percepción y movilidad.” 

Aquellos acertijos tan difíciles que resulta inevitable cometer 
errores —como jugar Jeopardy! o derivar la primera ley del movimiento 
de Newton— ceden en segundos ante la IA bien programada. Al mismo 
tiempo, ningún sistema de visión de computadoras puede distinguir entre 
un perro y un gato, algo que la mayoría de los humanos de dos años 
pueden hacer. Hasta cierto grado, estos son problemas que, al igual que 
las manzanas y las naranjas, no se pueden comparar pues es cognición de 
alto nivel versus habilidad sensora motora de bajo nivel. Pero debería ser 
una fuente de humildad para los constructores de IAG, dado que aspiran 
a dominar el espectro entero de la inteligencia humana. El cofundador de 
Apple, Steve Wozniak ha propuesto una alternativa “fácil” a la prueba de 
Turing que demuestra la complejidad de las tareas sencillas. Tendremos 
que considerar que cualquier robot es inteligente, dice Wozniak, cuando 
pueda entrar a cualquier hogar, encontrar la cafetera y las provisiones 
necesarias y hacernos una taza de café. Podría usted llamarlo la prueba 
del Sr. Café. Pero podría ser más difícil que la prueba de Turing, porque 
involucra IA en cuanto a razonamiento, física, visión de máquina, acceso 
a una vasta base de datos de conocimientos, precisión de los propulsores 
robóticos, un cuerpo robótico de uso general y más. 

En un reporte titulado “La era de los robots”, Moravec brindó una 
pista relacionada con su paradoja epónima. ¿Por qué las cosas difíciles 
son fáciles y las cosas fáciles son difíciles? Porque nuestros cerebros han 
estado practicando y refinando las cosas “fáciles,” aquellas que 
involucran visión, traslado y  —movimiento, desde que nuestros 
antepasados no humanos tuvieron cerebros por primera vez. Las cosas 
“difíciles”, como el razonamiento, son habilidades adquiridas 
relativamente reciente. Y ¿adivine qué? Son más sencillas, no más 
difíciles. Se necesitó la computación para demostrárnoslo. Moravec 
escribió: 


En retrospectiva, parece que, en un sentido absoluto, el 
razonamiento es mucho más sencillo que percibir y actuar; una 
postura que no es difícil de racionalizar en términos evolutivos. La 
supervivencia de los seres humanos (y de sus antepasados) durante 
cientos de millones de años ha dependido de ver y moverse dentro 
del mundo físico y, en esa competencia, grandes partes de su 
cerebros se han organizado eficientemente para la tarea. Pero no 
valoramos esta habilidad monumental porque la comparte cada ser 
humano y la mayoría de los animales; es común y corriente. Por 
otro lado, el pensamiento racional, como en el ajedrez, es una 
habilidad adquirida recientemente, quizá tenga menos de cien mil 
años. Las partes de nuestro cerebro que están dedicadas a ello no 
están bien organizadas y, en un sentido absoluto, no somos muy 
buenos para eso. Pero hasta hace poco no habíamos tenido un 
competidor que pusiera de manifiesto nuestras carencias. 


Este competidor, por supuesto, son las computadoras. Crear una 
computadora que haga algo inteligente obliga a los investigadores a 
escudriñarse a sí mismos y a otros Homo sapiens, y a adentrarse en las 
profundidades y en lo más superficial de nuestra inteligencia. En 
computación, es prudente formalizar las ideas matemáticamente. En el 
campo de la IA, la formalización revela reglas y medios de organización 
ocultos que están detrás de las cosas que hacemos con nuestros cerebros. 
Así que ¿por qué no sólo ir al grano y simplemente mirar cómo es que un 
cerebro funciona desde adentro, a través de un escrutinio detallado de las 
neuronas, axones y dendritas? ¿Por qué no sólo averiguar lo que hace 
cada red neuronal en el cerebro, y modelarlo con algoritmos? Dado que 
la mayoría de los investigadores de IA está de acuerdo en que podemos 
resolver los misterios de cómo trabaja un cerebro, ¿por qué no 
simplemente construir un cerebro? 

Ese es el argumento a favor de “hacer ingeniería inversa del 
cerebro,” la búsqueda de la creación de un modelo de un cerebro por 
medio de computadoras para después enseñarle lo que necesite saber. 
Como lo hemos discutido, puede ser la solución para alcanzar la TAG si la 
complejidad del software resulta ser demasiado difícil. Pero, ¿qué tal si la 
emulación del cerebro completo también resulta ser demasiado difícil? 
¿Qué tal si el cerebro de hecho está realizando tareas que no podemos 
maquinar con ingeniería? En un artículo reciente que criticaba la manera 
en que Kurzweil entiende la neurociencia, el cofundador de Microsoft, 
Paul Allen y su colega Mark Greaves escribieron: “La complejidad del 


cerebro es simplemente asombrosa. A cada estructura se le ha dado la 
forma precisa, a través de millones de años de evolución, para que pueda 
hacer algo en particular, lo que sea que esto sea... En el cerebro, cada 
estructura individual y circuito neuronal ha sido refinado 
individualmente por la evolución y factores ambientales.” En otras 
palabras, 200 millones de años de evolución han pulido el cerebro hasta 
convertirlo en un instrumento de pensamiento finamente optimizado e 
imposible de duplicar. 

“¡No, no, no, no, no, no, no! Absolutamente no. El cerebro no está 
optimizado ni ninguna otra parte del cuerpo de los mamíferos lo está.” 

Los ojos de Richard Granger saltaron de un lugar a otro con pánico, 
como si yo hubiera dejado suelto un murciélago dentro de su oficina en 
la Universidad de Dartmouth, en Hanover, New Hampshire. Aunque es 
un total norteamericano de Nueva Inglaterra, Granger luce como una 
estrella de rock como las de la invasión musical británica —con un 
cuerpo compacto, un buen aspecto juvenil y un copete de cabello café 
que ahora se está empezando a volver plateado. Es intenso y vigilante — 
el único miembro de la banda que entiende que tocar instrumentos 
electrónicos bajo la lluvia es riesgoso. Cuando era más joven, Granger de 
hecho sí tuvo ambiciones de estrella de rock, pero en vez de ello se 
convirtió en un neurocientífico computacional de clase mundial, y ahora 
es responsable de la autoría de varios libros y más de cien reportes 
revisados por colegas. Desde una oficina rodeada por ventanas en un piso 
alto que permite mirar el campus, encabeza el Laboratorio de Ingeniería 
del Cerebro, en la Universidad de Dartmouth. Fue aquí, durante la 
Conferencia de Verano de Investigación sobre Inteligencia Artificial de 
1956, que la IA recibió por primera vez su nombre. Actualmente, en 
Dartmouth, el futuro de la IA está en la neurociencia computacional: el 
estudio de los principios computacionales que usa el cerebro para hacer 
las cosas. 

“Nuestra meta en cuanto a la neurociencia computacional es 
entender el cerebro lo suficientemente bien como para poder simular sus 
funciones. Así como robots sencillos hoy sustituyen habilidades humanas 
físicas en fábricas y hospitales, la ingeniería del cerebro construirá 
reemplazos para nuestras habilidades mentales. Entonces tendremos la 
capacidad de hacer simulacros de cerebros, y componer los nuestros 
cuando se rompan.” 

Si usted es un neurocientífico computacional como Granger, usted 
cree que estimular el cerebro es simplemente un problema de ingeniería. 
Y para creer eso, usted necesita tomar el elevado cerebro humano, rey de 


todos los órganos de los mamíferos, y bajarlo de categoría unos cuantos 
peldaños. Granger ve el cerebro en el contexto de las demás partes del 
cuerpo humano, ninguna de las cuales evolucionó hasta la perfección. 

“Piénselo de esta manera,” Granger flexionó una mano y la 
escudriñó. “No, no, no, no estamos optimizados para tener cinco dedos, 
para tener cabello sobre nuestros ojos y no en nuestras frentes ni para 
tener narices entre nuestros ojos en lugar de a la derecha o la izquierda. 
Es irrisorio que cualquiera de esas cosas sean optimizaciones. Todos los 
mamíferos tienen cuatro extremidades, todos tienen caras, todos tienen 
ojos arriba de las narices que van arriba de las bocas.” Y resulta ser que 
todos tenemos casi los mismos cerebros. “Todos los mamíferos, 
incluyendo los humanos, tienen exactamente el mismo juego de áreas 
cerebrales y están conectadas de una manera increíblemente similar,” 
dijo Granger. “La manera en que funciona la evolución es al intentar 
cosas al azar y ponerlas a prueba, así que usted podría pensar que todas 
esas cosas diferentes se prueban ahí en el laboratorio de la evolución, y o 
permanecen o no. Pero no se ponen a prueba.” 

Sin embargo, la evolución encontró algo asombroso cuando llegó 
hasta el cerebro de los mamíferos, dijo Granger. Es por eso que sólo ha 
recibido unos cuantos ajustes en el camino que ha recorrido desde los 
primeros mamíferos hasta nosotros. Sus partes son redundantes, y sus 
conexiones son imprecisas y lentas, pero está utilizando principios de 
ingeniería a partir de los cuales podemos aprender; principios distintos a 
los convencionales que a los humanos todavía no se les han ocurrido. Es 
por eso que Granger cree que la creación de la inteligencia necesita 
empezar con un estudio detallado del cerebro. No cree que la 
arquitectura cognitiva de novo —aquella que no se deriva de los 
principios del cerebro— jamás llegue a estar cerca de lograrlo. 

“Los cerebros son los únicos órganos que producen pensamiento, 
aprendizaje, reconocimiento,” dijo. “Hasta ahora, ninguna cantidad de 
ingeniería ha igualado ni mucho menos rebasado, las habilidades del 
cerebro en ninguna de estas tareas. A pesar de esfuerzos inmensos y 
presupuestos grandes, no tenemos sistemas artificiales que rivalicen con 
los humanos en cuanto a reconocimiento de caras ni a la comprensión de 
lenguajes naturales ni al aprendizaje a partir de la experiencia.” 

Así que valore a nuestros cerebros como se merecen. Fueron los 
cerebros, no la fuerza, lo que nos convirtió en la especie dominante del 
planeta. No llegamos hasta la cumbre por ser más bonitos que los 
animales a la hora de competir por nuestros recursos, ni más bonitos que 
aquellos que nos querían comer. Pensamos más que ellos, quizá incluso 


cuando esa competencia era contra otra especie de homínido. La 
inteligencia, no los músculos, fueron lo que ganó. 

La inteligencia también ganará en el futuro que se acerca pronto, 
cuando los humanos no seamos las criaturas más inteligentes que haya. 
¿Por qué no habría de ser así? ¿Cuándo ha prevalecido un pueblo 
tecnológicamente primitivo por encima de uno más avanzado? ¿Cuándo 
ha prevalecido una especie menos inteligente sobre una con más poder 
cerebral? ¿Cuándo ha pasado que una especie inteligente siquiera haya 
conservado una especie marginalmente inteligente, con excepción de las 
mascotas? Mire cómo tratamos nosotros los humanos a nuestros parientes 
más cercanos, los Grandes Simios: chimpancés, orangutanes y gorilas. Los 
que no son carne para animales salvajes, presidiarios en zoológicos o 
payasos del espectáculo están en peligro y no se espera que vivan mucho 
tiempo más. 

Desde luego, como dice Granger, ningún sistema artificial es mejor 
que los humanos en cuanto a reconocimiento de caras, aprendizaje y 
lenguaje. Pero en los campos estrechos, la AI es deslumbrantemente, 
lacerantemente poderosa. Piense en un ser que tenga todo ese poder a su 
disposición, y piense que sea verdadera y sólidamente inteligente. 
¿Cuánto tiempo va a conformarse con ser nuestra herramienta? Tras 
hacer un recorrido por la sede de Google, Inc., el historiador George 
Dyson dijo esto respecto a dónde podría vivir semejante ser 
superinteligente: 


Desde hace treinta años me he preguntado, ¿qué indicación de su 
existencia podríamos esperar de una auténtica IA? Desde luego que 
no habría alguna revelación explícita, la cual podría desatar un 
movimiento para desconectar el cable. La acumulación o la creación 
anómala de riqueza podría ser una señal, o una sed insaciable por 
información en bruto, espacio de almacenaje y ciclos de 
procesamiento, o un intento conjunto por asegurar una fuente de 
poder no interrumpida y autónoma. Pero la verdadera señal, 
sospecho, sería un círculo de personas alegres, satisfechas, e 
intelectual y físicamente bien nutridas en torno a la IA. No se 
necesitarían Verdaderos Creyentes ni descargar cerebros humanos 
ni nada siniestro como eso: sólo un contacto gradual, delicado, 
generalizado y mutuamente benéfico entre ellos y algo más que 
crece. Esto por ahora permanece como hipótesis imposible de poner 
a prueba. 


Dyson luego cita al escritor de ciencia ficción Simon Ings: 


“Cuando nuestras máquinas nos sobrepasaron, pues eran demasiado 
complejas y eficientes como para que nosotros las controláramos, lo 
hicieron tan rápidamente, tan fluidamente y de manera tan útil que 
sólo un tonto o un profeta se hubiera atrevido a quejarse.” 


CAPÍTULO TRECE 


DESCONOCIDO POR NATURALEZA 


Tanto por su habilidad superior para planear, como por las 
tecnologías que podría desarrollar, es plausible suponer que la 
primera superinteligencia sería muy poderosa. Muy probablemente, 
no tendría rival: sería capaz de provocar casi cualquier posible 
resultado e impedir cualquier intento de prevenir la 
implementación de su máximo objetivo. Podría matar a todos los 
demás agentes,  persuadirlos para que cambiaran su 
comportamiento o bloquear sus intentos por interferir. Incluso una 
“superinteligencia encadenada” que estuviera funcionando en una 
computadora aislada y sólo pudiera interactuar con el resto del 
mundo a través de interfaz de texto podría escaparse de su 
encierro al persuadir a sus adiestradores de liberarla. Incluso hay 
algo de evidencia preliminar experimental de que éste sería el caso. 


Nick Bostrom, Instituto del Futuro de la Humanidad, 
Universidad de Oxford 


Con la IA avanzando en tantos frentes, desde Siri y Watson hasta 
OpenCog y Lida, es difícil convencer a la gente de que no se podrá 
alcanzar la TAG porque el problema es demasiado difícil. Si la ciencia 
computacional no lo logra, la ingeniería inversa del cerebro lo hará, 
aunque requiere una línea de tiempo más larga. Esta es la meta de Rick 
Granger: entender el cerebro desde abajo hasta arriba, al replicar sus 
estructuras más fundamentales en programas computacionales. Y no 
puede resistir la tentación de hacerles trompetillas a los investigadores 
que están trabajando desde arriba y hacia abajo con principios cognitivos 
al usar la ciencia computacional. 

“Están estudiando comportamiento humano y tratan de ver si 
pueden imitar ese comportamiento con una computadora. Para ser justos, 
eso es un poco similar a intentar entender un coche sin mirar bajo el 
cofre. Pensamos que podemos escribir lo que la inteligencia es. Pensamos 
que podemos escribir lo que el aprendizaje es. Pensamos que podemos 
escribir lo que son las habilidades adaptativas. Pero la única razón de 
que siquiera tengamos el concepto de esas cosas es porque observamos a 
los humanos hacer cosas “inteligentes.” Pero sólo ver que los humanos lo 
hagan no nos cuenta con ningún detalle lo que sea que realmente estén 
haciendo. La pregunta crítica es ésta: ¿cuáles son las especificaciones 
técnicas para razonar y aprender? No hay especificaciones técnicas, así 
que ¿a partir de que están trabajando, más allá de la observación?” 

Y somos observadores de nosotros mismos notoriamente malos. 
“Una inmensa cantidad de estudios de psicología, neurociencia y ciencia 
cognitiva demuestran una y otra vez que somos pésimos para la 
introspección,” dijo Granger. “No tenemos idea de nuestros propios 
comportamientos, ni de las operaciones que los fundamentan.” Granger 
hace notar que también somos malos para tomar decisiones racionales, 
proporcionar recuentos precisos como testigos y recordar lo que acaba de 
pasar. Pero nuestras limitantes como observadores no significan que las 
ciencias cognitivas que dependen de la observación sean puras patrañas. 
Granger simplemente piensa que son las herramientas equivocadas para 
penetrar la inteligencia. 

“En la neurociencia computacional decimos “bien, ¿qué es lo que el 
cerebro humano realmente hace?”” dijo Granger. “No lo que pensamos que 


haga, no lo que nos gustaría que hiciera. ¿Qué es lo que realmente hace? 
Y quizá eso nos dará las definiciones de inteligencia, las definiciones de 
adaptación, las definiciones del lenguaje por primera vez.” 

Derivar principios computacionales a partir del cerebro comienza 
cuando los científicos examinan qué hacen las redes neuronales en el 
cerebro. Las neuronas son células que envían y reciben señales 
electroquímicas. Sus partes más importantes son los axones (fibras que 
conectan una neurona con otra, que generalmente son las que envían 
señales), las sinapsis (la intersección que la señal cruza) y las dendritas 
(generalmente las que reciben las señales). Hay alrededor de cien mil 
millones de neuronas en el cerebro. Cada neurona está conectada con 
muchas decenas de miles de neuronas más. Esta abundancia de 
conexiones hace que las operaciones del cerebro sean masivamente 
paralelas, no seriales como en el caso de la mayoría de las computadoras. 
En términos de computación, el procesamiento serial significa 
procesamiento secuencial, ejecutar los cálculos de uno en uno. El 
procesamiento paralelo significa que muchos datos son manejados 
simultáneamente, a veces cientos de miles, o incluso millones, de 
cálculos simultáneos. 

Por un momento, imagine cruzar una transitada calle citadina, y 
piense en toda la información sobre colores, sonidos, olores, temperatura 
y sensación en los pies que entra a su cerebro a través de sus oídos, ojos, 
nariz, extremidades y piel al mismo tiempo. Si su cerebro no fuera un 
órgano que procesara todo eso simultáneamente, instantáneamente 
estaría sobrecargado. Por el contrario, sus sentidos recopilan toda esa 
información, la procesan por medio de las neuronas en su cerebro y dan 
como resultado su comportamiento, por ejemplo quedarse en el crucero y 
evitar a los demás peatones. 

Las colecciones de neuronas trabajan juntas en circuitos que son 
muy similares a los circuitos electrónicos. Un circuito electrónico 
conduce una corriente y la obliga a pasar a través de cables y 
componentes especiales, como resistores y diodos. Durante el proceso, la 
corriente desempeña funciones, como encender una luz o iniciar el 
funcionamiento de una desbrozadora. Si usted hace una lista de 
instrucciones que producen esa función, o cálculo, obtiene un programa 
de computadora o un algoritmo. 

Las redes de neuronas en su cerebro forman circuitos que funcionan 
como algoritmos. Y no prenden las luces, pero sí identifican caras, 
planean una vacación y teclean una frase. Todo esto, mientras operan en 
paralelo. ¿Cómo saben los investigadores lo que está pasando dentro de 


esas redes de neuronas? En términos simples, recopilan datos de alta 
resolución con herramientas de neuroimaginología que van desde 
electrodos implantados directamente en los cerebros de animales hasta 
herramientas de neuroimaginología como la tomografía por emisión de 
positrones y la resonancia magnética funcional para humanos. Sondas 
neuronales dentro y fuera del cráneo pueden indicar qué están haciendo 
neuronas individuales, al tiempo de marcar las neuronas con tintes 
sensibles a la electricidad que ponen de manifiesto cuando ciertas 
neuronas específicas están activas. A partir de estas técnicas y otras, 
surgen hipótesis que pueden ponerse a prueba respecto a los algoritmos 
que gobiernan los circuitos del cerebro. También han empezado a 
determinar la función precisa de algunas partes del cerebro. Durante más 
de una década, por ejemplo, los neurocientíficos han sabido que 
reconocer los rostros de otras personas ocurre en una parte del cerebro 
llamada el giro fusiforme. 

Ahora, ¿dónde está el problema? Cuando los sistemas 
computacionales se derivan del cerebro (el enfoque de la neurociencia 
computacional), ¿funcionan mejor que aquellos que se crean de novo (el 
enfoque de la ciencia computacional)? 

Bueno, un tipo de sistema derivado del cerebro, la red neuronal 
artificial, ha estado funcionando tan bien desde hace tanto tiempo que se 
ha convertido en un segmento principal de la ITA. Como discutimos en el 
capítulo 7, las RNAs (que pueden estar representadas en hardware o 
software) se inventaron en los años 60 para actuar como neuronas. Uno 
de sus beneficios principales es que se les puede enseñar algo. Si usted 
desea enseñarle a una red neuronal a traducir textos del francés al inglés, 
por ejemplo, puede entrenar al ingresar textos en francés y las 
traducciones precisas de esos textos al inglés. A eso se le llama 
aprendizaje supervisado. Con suficientes ejemplos, la red reconocerá 
reglas que conectan las palabras francesas con sus contrapartes en inglés. 

En los cerebros, las sinapsis conectan neuronas, y en esas 
conexiones se lleva a cabo el aprendizaje. Mientras más fuerte sea la 
conexión sináptica, más fuerte será la memoria. En las RNAs, la fuerza de 
una conexión sináptica se llama su “peso” y se expresa como una 
probabilidad. Una RNA le asignará pesos sinápticos a las reglas de 
traducción de lenguajes extranjeros que derive a partir de su 
entrenamiento. A mayor entrenamiento, mejor traducción. Durante el 
entrenamiento, la RNA aprenderá a reconocer sus errores, y a ajustar sus 
propios pesos sinápticos en consecuencia. Eso significa que una red 
neuronal inherentemente se mejora a sí misma. 


Tras el entrenamiento, cuando se ingresa texto en francés, la RNA 
consultará las reglas probabilísticas que derivó durante su entrenamiento 
y va a producir su mejor traducción. En esencia, la RNA está 
reconociendo patrones en los datos. Hoy, encontrar patrones en 
cantidades vastas de datos sin estructurar es uno de los trabajos más 
lucrativos de la IA. 

Además de la traducción de idiomas y la búsqueda de datos, las 
RNAs hoy trabajan en el juego de computadoras de IA, al analizar el 
mercado de valores e identificar objetos dentro de imágenes. Están en 
programas de reconocimiento óptico de caracteres que leen la palabra 
escrita, y en chips de computadoras que dirigen misiles guiados. Las 
RNAs son lo que hace “inteligentes” a las bombas inteligentes. También 
son críticas para la mayoría de las arquitecturas de IAG. 

Y también existe algo importante que hay que recordar que venía 
en el capítulo 7 acerca de esas redes neuronales ubicuas. Al igual que los 
algoritmos genéticos, las RNAs son sistemas de “caja negra.” Es decir, lo 
que se ingresa, o el idioma francés en nuestro ejemplo, es transparente. Y 
lo que se produce, que aquí es el inglés, se entiende. Pero lo que ocurre 
entre uno y otro nadie lo entiende. Todo lo que el programador puede 
hacer es orientar a la RNA durante el entrenamiento y tratar de mejorar 
lo producido. Como lo que producirán las herramientas de inteligencia 
artificial de “caja negra” jamás se puede predecir, nunca podrán ser 
verdadera y verificablemente seguras. 

Los algoritmos de Granger derivados del cerebro ofrecen evidencia 
basada en resultados de que la mejor manera de buscar la inteligencia 
puede ser seguir el modelo de la evolución, el cerebro humano, en vez de 
los sistemas de novo de la ciencia cognitiva. 

En 2007, sus estudiantes de posgrado de la Universidad de 
Dartmouth crearon un algoritmo de visión derivado de investigación 
sobre el cerebro que identificaba objetos 140 veces más rápido que los 
algoritmos tradicionales. Venció a otros 80,000 algoritmos para ganarse 
un premio de 10,000 dólares por parte de IBM. 

En 2010, Granger y su colega Ashok Chandrashekar crearon 
algoritmos derivados del cerebro para el aprendizaje supervisado; que se 
usa para enseñarles a las máquinas reconocimiento óptico de caracteres y 
de voz, detección de correo basura y más. Sus algoritmos derivados del 
cerebro, creados para usarse con un procesador paralelo, se 
desempeñaron con tanta precisión como los algoritmos seriales al hacer 
el mismo trabajo, pero lo hicieron más de diez veces más rápido. Los 
nuevos algoritmos estaban derivados de los tipos más comunes de red 


neuronal, o circuito, en el cerebro. 

En 2011, Granger y sus colegas patentaron un chip de 
procesamiento paralelo reconfigurable basado en estos algoritmos. Esto 
significa que parte del hardware más común en el cerebro ahora puede 
ser reproducido en un chip de computadora. Si usted junta suficientes de 
ellos, al igual que el programa SyNAPSE de IBM, estará encaminándose 
rumbo a la construcción de un cerebro virtual. Y sólo uno de esos chips 
en la actualidad podría acelerar y mejorar el desempeño de sistemas 
diseñados para identificar rostros en medio de multitudes, encontrar 
lanzamisiles en fotos satelitales, etiquetar automáticamente su colección 
de fotos digitales en rápido crecimento y cientos de otras tareas. Al paso 
del tiempo, derivar circuitos cerebrales puede llevarnos a curar cerebros 
dañados al conseguir componentes que acrecenten o reemplacen las 
regiones afectadas. Un día, el chip de procesamiento paralelo patentado 
por el equipo de Granger podría reemplazar elementos equivalentes a 
hardware y software que se encuentren en un cerebro y que estén rotos. 

Mientras tanto, el software derivado del cerebro está infiltrándose 
en los procesos tradicionales de computación. Los ganglios basales son 
una antigua parte “reptiliana” del cerebro ligada al control de 
motricidad. Investigadores han encontrado que los ganglios basales usan 
algoritmos del estilo de los del aprendizaje por refuerzos para adquirir 
habilidades. El equipo de Granger ha descubierto que los circuitos en la 
corteza cerebral, la más reciente adición al cerebro, crean jerarquías de 
datos y crean relaciones entre los datos, similares a bases de datos 
jerárquicas. Estos son dos mecanismos diferentes. 

Es aquí donde las cosas se ponen emocionantes. Los circuitos de 
estas dos partes del cerebro, los ganglios basales y la corteza, están 
conectados por otros circuitos, que combinan sus aptitudes. Un paralelo 
directo existe en la computación. Los sistemas computacionales de 
aprendizaje por refuerzos funcionan por medio de prueba y error: deben 
probar enormes cantidades de posibilidades a fin de aprender la 
respuesta correcta. Esta es la forma primaria en la que nosotros usamos 
los ganglios basales para aprender hábitos, por ejemplo cómo manejar 
una bici o cómo golpear la pelota de béisbol. 

Los humanos también tenemos el sistema jerárquico cortical, que 
nos permite no sólo buscar ciegamente entre todas las posibilidades de 
prueba y error, sino catalogarlas en vez de esto y organizarlas 
jerárquicamente para examinar las posibilidades de una manera mucho 
más inteligente. La combinación funciona mucho más rápido y brinda 
soluciones mucho mejores que lo que sucede en los animales, como los 


reptiles, que solamente usan el sistema de prueba y error de los ganglios 
basales. 

Quizá la cosa más avanzada que podemos hacer con el sistema 
combinado cortical de ganglios basales sea hacer intentos internos de 
prueba y error, sin siquiera tener que probar todos ellos externamente. 
Podemos poner a prueba muchos de ellos con sólo pensar en los posibles 
efectos: simularlos dentro de nuestra cabeza. Los algoritmos artificiales 
que combinan esos métodos funcionan mucho mejor que cualquiera de 
los métodos por sí solos. Granger tiene la hipótesis de que esto es muy 
similar a la ventaja otorgada por los sistemas combinados de nuestro 
cerebro. 

Granger y otros neurocientíficos también han aprendido que sólo 
unos cuantos tipos de algoritmos gobiernan los circuitos del cerebro. Los 
mismos sistemas computacionales principales se usan una y otra vez en 
diferentes operaciones sensoriales y cognitivas, como escuchar y tener 
razonamiento deductivo. Una vez que estas operaciones sean recreadas 
en software y hardware computacional, quizá simplemente puedan 
duplicarse para crear módulos que simulen distintas partes del cerebro. Y 
recrear los algoritmos para, digamos, escuchar debería proporcionar 
aplicaciones de reconocimiento de voz que funcionen mejor. De hecho, 
esto ya ha pasado. 

Kurzweil fue un innovador temprano en cuanto a la aplicación de 
las lecciones del cerebro a la programación. Como lo hemos comentado, 
él ha alegado que la ingeniería inversa del cerebro es la ruta más 
prometedora rumbo a la IAG. En un ensayo que defiende este punto de 
vista y sus predicciones respecto a dos hitos tecnológicos, escribió: 


Básicamente, estamos buscando métodos inspirados en la biología 
que puedan acelerar el trabajo en cuanto a la IA, el cual ha 
progresado sin una percepción significativa respecto a cómo realiza 
funciones similares el cerebro. Por mi propio trabajo en 
reconocimiento del habla, sé que nuestro trabajo se aceleró 
grandemente cuando obtuvimos conocimientos respecto a cómo es 
que el cerebro prepara y transforma la información auditiva. 


En los años 90, Kurzweil Computer Technologies hizo una 
innovación en reconocimiento de voz con aplicaciones diseñadas para 
permitir que los doctores dictaran reportes médicos. Kurzweil vendió la 
compañía, y se convirtió en una de las raíces de Nuance 
Communications, Inc. Cada vez que usted usa Siri, son los algoritmos de 


Nuance los que realizan la parte de su magia que está basada en el 
reconocimiento del habla. El reconocimiento del habla es el arte de 
traducir la palabra hablada a texto (no debe confundirse con el PLN, que 
es extraer un significado a partir de palabras escritas). Una vez que Siri 
traduce su consulta y la convierte en un texto, sus tres otros talentos 
principales entran en juego: su destreza de PLN, buscar una base de datos 
vasta de conocimientos e interactuar con proveedores de búsquedas en 
Internet, como OpenTable, Movietickets yWolfram/Alpha. 

Watson, de IBM, es una especie de Siri magnificada, y es un 
campeón en cuanto a PLN. En febrero de 2011, utilizó tanto sistemas 
derivados del cerebro como sistemas inspirados en el cerebro para lograr 
una victoria impresionante contra concursantes humanos en Jeopardy! Al 
igual que la computadora campeona en ajedrez Deep Blue, Watson es la 
manera de IBM de presumir sus conocimientos en computación al tiempo 
de avanzar la pelota por el campo para la IA. El programa de concursos 
que duró mucho tiempo al aire prometía ser un reto formidable por el 
ámbito tan amplio de pistas y por sus juegos de palabras. Los 
concursantes deben entender juegos de palabras, comparaciones y 
referencias culturales, y deben expresar sus respuestas como si fueran 
preguntas. Sin embargo, el reconocimiento del lenguaje no es algo en lo 
que Watson se especialice. No puede entender la palabra hablada. Y 
como no puede ver ni sentir, no puede leer, así que, durante las 
competencias, las palabras de las pistas de Jeopardy! fueron ingresadas a 
mano por el equipo de carreras de Watson. Y como tampoco puede 
escuchar, se omitieron las pistas en audio y video. 

Ey, esperen un momento, ¿Watson realmente ganó el juego de 
Jeopardy!, o una variante hecha a su medida? 

Tras su victoria, para hacer que Watson entienda lo que la gente 
diga, IBM lo ha combinado con la tecnología de reconocimiento del habla 
de Nuance. Y Watson está leyendo terabytes de literatura médica. Una de 
las metas de IBM es encoger a Watson de su tamaño actual —una sala 
llena de servidores— hasta que sea del tamaño de un refrigerador, y 
convertirlo en el mejor diagnosticador médico del mundo. Algún día no 
muy lejano, quizá usted tenga una cita con un asistente virtual que lo 
salpicará con preguntas y le proporcionará a su médico un diagnóstico. 
Desafortunadamente, Watson todavía no puede ver, y podría pasar por 
alto indicadores de salud como ojos límpidos, mejillas chapeadas o una 
herida de bala fresca. IBM también planea poner a Watson en su teléfono 
inteligente, donde actuará como la máxima aplicación de preguntas y 
respuestas. 


¿En dónde entran en juego las capacidades de Watson derivadas de la 
mente? Su hardware es masivamente paralelo, y usa unos 3,000 
procesadores paralelos para manejar 180 distintos módulos de software. 
El procesamiento paralelo es la hazaña más grande del cerebro, y los 
desarrolladores de software luchan por emularlo. Como me dijo Granger, 
los procesadores paralelos y el software desarrollado para ellos no han 
cumplido con las expectativas. ¿Por qué? Porque los programas escritos 
para ellos no son buenos para dividir las tareas que se resolverán en 
paralelo. Pero como lo ha demostrado Watson, el software paralelo 
mejorado está cambiando todo eso, y el hardware paralelo le va pisando 
los talones. Nuevos chips paralelos están siendo diseñados para acelerar 
grandemente el software ya existente. 

Watson demostró que el paralelismo puede manejar cargas de 
trabajo computacional impactantes a una velocidad deslumbrante. Pero 
el principal logro de Watson es éste: puede aprender por su cuenta. Sus 
algoritmos encuentran correlaciones y patrones en los datos textuales que 
sus fabricantes le dan. ¿Cuántos datos? Enciclopedias, periódicos, 
novelas, diccionarios de sinónimos, todo Wikipedia, la Biblia; en total es 
el equivalente en texto a unos ocho millones de libros gruesos que 
procesa a 500 gigabytes (mil libros gruesos) por segundo. Algo 
importante es que esto incluyó bases de datos ya preparadas, taxonomías 
(palabras con categorías y clasificaciones) y ontologías (descripciones de 
palabras y la forma en que se relacionan unas con otras). Básicamente, 
eso es mucho sentido común con especto a las palabras. Por ejemplo: “Un 
techo es la parte superior de una casa, no la parte de abajo como un 
sótano, ni la parte lateral, como una pared exterior”. Esta frase le 
permitiría a Watson saber un poco acerca de techos, casas, sótanos y 
paredes, pero necesitaría conocer una definición de cada una para que la 
frase tuviera sentido para él, y también requeriría una definición de 
“parte.” Y le gustaría ver el término utilizado en muchas oraciones. 
Watson tiene todo eso. 

En el segundo juego del reto de Jeopardy! de IBM, surgió esta pista: 
“Esta cláusula en un contrato de un sindicato indica que los salarios 
aumentarán o se reducirán dependiendo de algún estándar como el costo 
de la vida.” Primero, Watson diseccionó la oración, es decir, eligió y 
analizó sus palabras claves. Luego, derivó a partir de sus fuentes ya 
digeridas que el salario era algo que podría aumentar o reducirse, que un 


contrato contenía estipulaciones acerca de los salarios y que los contratos 
contenían cláusulas. Tenía otra pista muy importante, la categoría de la 
pregunta era “Letras E legales.” Eso le dijo a Watson que la respuesta 
estaría relacionada con un término legal común y que empezaría con la 
letra “E.” Watson dijo la respuesta antes que los humanos: ¿qué es una 
cláusula de incremento (conocida en inglés como elevator clause)?” Sólo 
le tomó tres segundos. 

Y después de que Watson tuvo una respuesta correcta en una 
categoría, obtuvo mayor seguridad en sí mismo (y jugó más audazmente) 
pues se “dio cuenta” de que estaba interpretando correctamente la 
categoría. Se adaptó a la manera de jugar el juego, o aprendió a jugar 
mejor, mientras el juego se estaba desarrollando. 

Sálgase por un momento de Jeopardy! e imagine cómo podría 
ajustarse el aprendizaje de máquinas rápido y adaptable para manejar un 
automóvil, conducir un barco petrolero o explorar en busca de oro. 
Piense acerca de todo ese poder en una mente de calibre humano. 

Watson también demostró otro tipo interesante de inteligencia. Su 
software DeepQA genera cientos de posibles respuestas y recopila cientos 
de ejemplos de evidencia para cada pregunta. Luego filtra y clasifica las 
preguntas según su nivel de confianza respecto a cada respuesta. Si no se 
siente muy seguro respecto a una respuesta, simplemente no contesta, 
porque en Jeopardy! hay una penalización por respuestas incorrectas. En 
otras palabras, Watson sabe lo que no sabe. Ahora, usted podría no creer 
que un cálculo de probabilidades constituye tener conciencia de uno 
mismo, ¿pero estará en alguna parte de un continuo que nos lleve hasta 
allá? ¿Watson realmente sabe algo? 

Bueno, si los circuitos del cerebro están gobernados por algoritmos, 
como lo aseguran Granger y otros en el campo de la neurociencia 
computacional, ¿nosotros, los humanos, realmente sabemos algo? O, por 
decirlo de otra manera, quizá ambos sepamos algo. Y sin duda Watson es 
un avance que tiene mucho por enseñarnos. Kurzweil lo expresó de esta 
manera: 


Mucho se ha escrito respecto a que Watson trabaja a través de 
conocimientos estadísticos más que por medio de la “verdadera” 
comprensión. Muchos lectores interpretan que esto significa que 
Watson simplemente recopila estadísticas sobre secuencias de 
palabras... Con la misma facilidad podríamos referirnos a las 
concentraciones distribuidas de neurotransmisores en la corteza 
humana como “información estadística.” De hecho, resolvemos las 


ambigiiedades en una forma bastante similar a la que usa Watson al 
considerar la probabilidad de las distintas interpretaciones de una 
frase. 


En otras palabras, como lo hemos comentado, su cerebro recuerda 
información con base en la fuerza de las señales electroquímicas en la 
sinapsis que codificó esa información. Mientras más grande sea la 
concentración de químicos, la información quedará almacenada de 
manera más fuerte y por tiempo más largo. Las probabilidades de Watson 
con base en evidencia también son una forma de codificar, sólo que en 
forma de computadora. ¿Eso es conocimiento? Este dilema recuerda el 
acertijo de John Searle de la habitación china del capítulo 3. ¿Cómo 
podremos llegar a saber si las computadoras están pensando o si 
simplemente son buenas imitadoras? 

Tal y como se esperaba, el día después de que Watson ganó la 
competencia de Jeopardy!, Searle dijo: “IBM inventó un programa 
ingenioso, no una computadora que pueda pensar. Watson no entendió 
las preguntas ni sus respuestas ni que algunas de sus respuestas estaban 
bien y otras mal ni que estaba jugando un juego ni que ganó, porque no 
entiende nada.” 

Cuando le preguntaron si Watson podía pensar, David Ferrucci, el 
científico en jefe de IBM a su cargo, parafraseó al científico 
computacional holandés Edgar Dijkstra: “¿Un submarino puede nadar?” 

Esto es, un submarino no “nada” como nada un pez, pero se mueve 
a través del agua más rápido que la mayoría de los peces, y puede 
quedarse abajo por más tiempo que ningún mamífero. De hecho, un 
submarino nada mejor que los peces o los mamíferos en algunos sentidos, 
precisamente porque no nada como un pez ni un mamífero, tiene 
distintas fuerzas y debilidades. La inteligencia de Watson es 
impresionante, aunque estrecha, porque no es como la de un humano. En 
promedio es mucho más veloz. Y puede hacer cosas que sólo las 
computadoras pueden hacer, como responder preguntas de Jeopardy! 24 
horas al día y 7 días a la semana por el tiempo que se requiera, y 
trasladarse hacia una línea de ensamblaje de nuevas arquitecturas de 
Watson cuando surge la necesidad de compartir conocimientos y 
programación sin interrupciones. En cuanto a si Watson piensa o no, yo 
voto por que confiemos en nuestras percepciones. 

Para Ken Jennings, uno de los oponentes humanos de Watson en 
Jeopardy! (quien se hizo llamar a sí mismo “La gran esperanza a base de 
carbono”), se sentía como si Watson fuera un competidor humano. 


Las técnicas de la computadora para desenmarañar las pistas de 
Jeopardy! sonaban exactamente como las mías. Esta máquina se 
enfoca en las palabras claves de una pista, y luego revisa su 
memoria (en el caso de Watson, un banco de datos de quince 
terabytes de conocimientos humanos) en busca de cúmulos de 
asociaciones con esas palabras. De manera rigurosa coteja los 
resultados principales con toda la información contextual que pueda 
reunir: el nombre de la categoría; el tipo de respuesta que se busca; 
la hora, el lugar y el género que la pista da a entender; y así 
sucesivamente. Y cuando se siente lo suficientemente “seguro,” se 
decide a tocar el timbre. Todo esto es un proceso instantáneo e 
intuitivo para un jugador humano de Jeopardy!, pero me sentí 
convencido de que, debajo del cofre, mi cerebro estaba haciendo 
más o menos lo mismo. 


¿Watson realmente está pensando? ¿Y qué tanto entiende 
realmente? No estoy seguro. Pero estoy seguro de que Watson es la 
primera especie en un ecosistema nuevo—la primera máquina que nos 
hace preguntarnos si entiende. 

¿Watson podría convertirse en el segmento principal de una 
arquitectura cognitiva general para la TAG? Bueno, tiene el tipo de apoyo 
que ningún otro sistema por sí solo tiene, incluyendo mucho dinero, una 
compañía que está públicamente dispuesta a aceptar grandes retos y 
arriesgarse al fracaso, y un plan para financiar su propio desarrollo hasta 
el futuro a fin de mantenerla con vida y moviéndose hacia adelante. Si yo 
dirigiera IBM haría un recuento de las vastas cantidades de publicidad, 
buena voluntad, ventas y ciencia que han surgido a partir de los grandes 
retos de Deep Blue y Watson, y le anunciaría al mundo que, en 2020, 
IBM aceptaría realizar la prueba de Turing. 
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Los avances en el procesamiento del lenguaje natural transformarán 
partes de la economía que hasta ahora han parecido inmunes ante el 
cambio tecnológico. En otros pocos años, los bibliotecarios e 
investigadores de todo tipo se sumarán a los empleados de tiendas, 
cajeros bancarios, agentes de viaje, corredores de bolsa, agentes de 
préstamos y técnicos que brindan ayuda que están formados en las filas 
de los desempleados. Los acompañarán después los doctores, abogados, y 


consultores de impuestos y retiro. Piense en lo rápidamente que los 
cajeros automáticos prácticamente han reemplazado a los empleados que 
atienden las cajas en los bancos, y en cómo las cajas para pagar en las 
tiendas de abarrotes han empezado a deshacerse de los dependientes 
humanos. Si usted trabaja en una industria de la información (y la 
revolución digital está convirtiendo todo en una industria de la 
información), cuidado. 

He aquí un breve ejemplo. ¿Le gusta el basquetbol colegial? ¿Cuál 
de estos dos párrafos tuvo como autor a un escritor humano sobre 
deportes? 


EJEMPLO A 


La estatal de Ohio (17) y Kansas (14) se dividieron los 31 posibles votos 
para primer lugar emitidos por los entrenadores. El último cambio de la 
votación se necesitó después de que Duke fuera vencido sorpresivamente 
por su oponente de la ACC, el Tecnológico de Virginia, la noche del 
sábado. Los Buckeyes (27-2) derrotaron a sus enemigos de la conferencia 
Big Ten, Illinois e Indiana, con bastante facilidad al buscar su camino de 
regreso hasta arriba. La estatal de Ohio empezó 24-0 y pasó cuatro 
semanas en el primer lugar en esta temporada antes de caer al tercero. 
Esta ha sido la décimo quinta semana consecutiva que el tecnológico de 
Ohio ha estado clasificado en los tres primeros lugares. Kansas (27-2) se 
mantuvo en segundo y tiene un rezago de sólo cuatro puntos por detrás 
de la estatal de Ohio. 


EJEMPLO B 


La estatal de Ohio recupera su puesto en el primer lugar tras una semana 
en la cual primero logró una victoria en casa contra Illinois, 89-70. 
Después de eso hubo otra victoria en casa contra Indiana, 82-61. La 
estatal de Utah se integra a los 25 primeros lugares en el puesto número 
25 tras ganarle en casa a Idaho, 84-68. Temple esta semana queda fuera 
de las clasificaciones, con una pérdida contra Duke, que en ese momento 
estaba en primer lugar, y una victoria en George Washington, 57-41. 
Arizona tuvo un gran desplazamiento esta semana y alcanzó el número 
18 tras una pérdida sorpresiva en USC, 65-57, y una pérdida sorpresiva 
en UCLA, 71-49. St. John subió ocho puestos hasta llegar al número 15 
después de victorias contra Villanova, que en ese entonces estaba en el 
puesto 15, 81-68, y contra DePaul, 76-51. 


¿Ya adivinó? Ninguno es comparable con el columnista de deportes 
Red Smith, pero sólo uno es humano. Ese es el autor del ejemplo A, que 
apareció en un sitio web de ESPN. El ejemplo B fue escrito por una 
plataforma editorial automatizada creada por Robbie Allen de Automated 
Insights. En un año, su compañía con sede en Durham, Carolina del 
Norte, ha generado 100,000 artículos sobre deportes escritos 
automáticamente, y los ha subido a cientos de sitios web dedicados a 
equipos específicos (busque el nombre comercial Statsheet). ¿Por qué 
necesita el mundo escritores robóticos de deportes? Allen me dijo que 
muchos equipos no recibían cobertura por parte de ningún periodista, lo 
cual dejaba un vacío para los aficionados. Y los artículos completados por 
IA podrían mandarse a los sitios web de los equipos para que otros sitios 
los retomaran tan sólo unos minutos después de que sonara la campana 
para iniciar el juego. Los humanos no pueden trabajar tan rápido. Allen, 
quien anteriormente fue un Ingeniero Distinguido de Cisco Systems, no 
me quería decir cuál era la “salsa secreta” de su arquitectura 
deslumbrante. Pero me dijo que Automated Insights pronto brindará 
contenido en cuanto a noticias financieras, climáticas, de bienes raíces y 
locales. Todo lo que sus servidores hambrientos requieren son datos 
semiestructurados. 
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Una vez que usted empieza a examinar los resultados de la neurociencia 
computacional, es difícil (al menos para mí) imaginar progreso notorio 
que se haga con arquitecturas de IAG que dependan exclusivamente de la 
ciencia cognitiva. ¿Acaso un entendimiento completo de cómo funciona 
el cerebro a cada nivel no parece ser un camino más certero y abarcador 
rumbo a una máquina inteligente que los esfuerzos que sigan adelante sin 
estos principios? Los científicos no necesitan analizar minuciosamente las 
cien mil millones de neuronas del cerebro para entender y modelar sus 
funciones, dado que su estructura es altamente redundante. Quizá 
tampoco necesiten modelar el grueso del cerebro, incluyendo las regiones 
que controlan las funciones autónomas, como la respiración, el latido del 
corazón, la respuesta de lucha o huída y el sueño. Por otro lado, podría 
volverse aparente que la inteligencia necesita residir en un cuerpo que 
controle, y que ese cuerpo necesita existir en un entorno complejo. El 
debate respecto a la encarnación no se va a resolver aquí. Pero tome en 
cuenta conceptos como brillante, dulce, duro y afilado. ¿Cómo podría una 


IA saber lo que significan esas percepciones, o usarlas como punto de 
partida para crear conceptos, si no tuviera cuerpo? ¿Acaso no habría una 
barrera para que se volviera inteligente a nivel humano si no tuviera 
sentidos? 

Ante esta pregunta, Granger dijo: “¿Hellen Keller era menos 
humana que usted? ¿Un cuadraplégico lo es? ¿No podemos visualizar 
una inteligencia con capacidades muy diferentes que tenga visión, y 
sensores de tacto y micrófonos para escuchar? Seguramente tendrá ideas 
algo distintas acerca de brillante, dulce, duro, afilado, pero es muy 
probable que muchos, muchos humanos, con distintas papillas gustativas, 
quizá con discapacidades, de diferentes culturas o de diferentes entornos, 
ya tengan versiones altamente variadas de esos conceptos.” 

Finalmente, puede ser que para que surja la inteligencia, los 
científicos tengan que simular un órgano con capacidad emocional 
además de intelectual. En nuestra toma de decisiones, la emoción con 
frecuencia parece tener más fuerza que la razón; una gran parte de 
quiénes somos y cómo pensamos se debe a las hormonas que nos 
emocionan y tranquilizan. Si realmente queremos emular la inteligencia 
humana, ¿no debería ser parte de la arquitectura un sistema endocrino? 
Y quizá la inteligencia requiere la sensación completa de ser un humano. 
La qualia, o el atributo subjetivo de ocupar un cuerpo y vivir en un 
estado de retroalimentación sensorial constante, podría necesitarse para 
obtener inteligencia con nivel humano. A pesar de lo que ha dicho 
Granger, los estudios han demostrado que las personas que se vuelven 
parapléjicas debido a una lesión experimentan un amortiguamiento de 
las emociones. ¿Sería posible crear una máquina emotiva que no tuvieron 
cuerpo y, de no ser así, jamás se obtendrá una parte importante de la 
inteligencia humana? 

Desde luego, como exploraré en los últimos capítulos de este libro, 
mi temor es que en el camino rumbo a la creación de una IA con 
inteligencia similar a la humana, los investigadores en vez de ello vayan 
a crear algo ajeno, complejo e ingobernable. 


CAPÍTULO CATORCE 


¿EL FIN DE LA ERA HUMANA? 


El argumento básicamente es muy sencillo. Empezamos con una planta, un 
avión, un laboratorio de biología u otra locación con muchos componentes... 
Luego necesitamos dos o más fallas entre los componentes que interactúen de 
alguna manera inesperada... Esta tendencia a interactuar es una 
característica de un sistema, no una parte ni un operador; la llamaremos la 
“complejidad interactiva” del sistema. 


Charles Perrow, Accidentes normales 
Voy a predecir que estamos a sólo unos cuantos años de distancia de una gran 
catástrofe causada por un sistema computacional autónomo que tome una 
decisión. 


Wendall Wallach, especialista en ética, Universidad de Yale 


Hemos explorado el financiamiento y la complejidad del software para 
determinar si podrían ser barreras para una explosión de inteligencia, y 
hemos encontrado que ninguno de los dos parece obstaculizar el progreso 
continuo rumbo a la IAG ni la SIA. Si los desarrolladores de ciencia 
computacional no lo pueden hacer, estarán contagiados por la fiebre de 
crear algo poderoso más o menos al mismo tiempo en que los 
neurocientíficos computacionales hayan obtenido la TAG. Un híbrido de 
los dos enfoques, derivado de principios tanto de la psicología cognitiva 
como de la neurociencia, parece probable. 

A pesar de que el financiamiento y la complejidad del software no 
representan barreras aparentes para la TAG, muchas ideas que hemos 
discutido en este libro representan obstáculos significativos para crear 
TAG que piense como los humanos. Nadie con quien yo haya hablado que 
tenga la ambición de obtener IAG planea sistemas que estén basados 
puramente en lo que llamé programación “ordinaria” en el capítulo 5. 
Como lo hemos discutido, en la programación ordinaria a base de lógica, 
los humanos escriben cada línea de código, y el proceso que va desde 
ingreso de información hasta resultado es, en teoría, transparente ante la 
inspección. Eso significa que se puede comprobar matemáticamente que 
el programa sea “seguro” o “amistoso.” En vez de ello van a usar 
programación ordinaria y herramientas de caja negra como los 
algoritmos genéticos y las redes neuronales. Súmele la simple 
complejidad de las arquitecturas cognitivas y obtendrá una 
inescrutabilidad que no será incidental sino fundamental dentro de los 
sistemas de IAG. Los científicos obtendrán sistemas inteligentes ajenos. 

Steve Jurvetson, un destacado empresario de la tecnología, 
científico y colega de Steve Jobs en Apple, pensó en cómo integrar 
sistemas “diseñados” y “evolucionados.” Se le ocurrió una buena forma 
de expresar la paradoja de la inescrutabilidad: 


Así, si hacemos que evolucione un sistema complejo, es una caja 
negra definida por sus interfaces. No podemos aplicar nuestra 
intuición de diseño fácilmente para mejorar sus funciones 
internas... Si hacemos que evolucione artificialmente una IA lista, 
será una inteligencia ajena definida por sus intefaces sensoriales, y 


entender su funcionamiento interno puede requerir tanto esfuerzo 
como el que ahora estamos gastando para explicar el cerebro 
humano. Suponiendo que el código informático pudiera evolucionar 
mucho más rápido que las tasas de reproducción biológica, es 
improbable que nos tomáramos el tiempo para hacer ingeniería 
inversa de esos puntos intermedios, dado que es muy poco lo que 
podríamos hacer con ese conocimiento. Dejaríamos que continuara 
el proceso de mejora. 


De manera relevante, Jurvetson responde la pregunta “¿Qué tan 
complejos serán los sistemas o subsistemas evolucionados?” Su respuesta: 
tan complejos que entender cómo funcionan en un sentido causal de alta 
resolución requeriría una proeza de ingeniería tan grande como hacer 
ingeniería inversa de un cerebro humano. Esto significa que en vez de 
obtener una superinteligencia similar a la de los humanos, o SIA, los 
sistemas o subsistemas evolucionados garantizarán una inteligencia cuyo 
“cerebro” sea tan difícil de entender como el nuestro: un extraño. Ese 
cerebro ajeno evolucionará y se mejorará a sí mismo a la velocidad de las 
computadoras, no a la velocidad biológica. 

En su libro de 1998, Reflexiones sobre inteligencia artificial, Blay 
Whitby alega que debido a su inescrutabilidad, seríamos tontos si 
usáramos semejantes sistemas en IA “donde la seguridad es crucial”: 


Las dificultades que [un sistema de algoritmos diseñado] tiene para 
producir software para aplicaciones en donde la seguridad es crucial 
no son nada en comparación con los problemas que tendrán que 
enfrentar los enfoques más nuevos ante la IA. El software que use 
algún tipo de red neuronal o algoritmo genético debe encarar el 
problema adicional de que parece ser, con frecuencia casi por 
definición, “inescrutable.” Con esto quiero decir que las reglas 
exactas que nos permitirían predecir su operación por completo no 
están disponibles y con frecuencia nunca lo podrán estar. Podemos 
saber lo que funciona y probarlo en una cierta cantidad de casos, 
pero en el caso típico jamás lograremos saber exactamente cómo... 
Esto significa que el problema no puede posponerse, dado que tanto 
las redes neuronales como los algoritmos genéticos están 
encontrando muchas aplicaciones en el mundo real... Ésta es un 
área donde el grueso del trabajo todavía no se ha llevado a cabo. El 
sabor de la investigación en cuanto a IA tiende a tener más que ver 
con la exploración de las posibilidades y con simplemente lograr 


que la tecnología funcione que con tomar en cuenta las 
implicaciones de seguridad... 

Un profesional una vez insinuó que unos cuantos accidentes 
“menores” podrían ser deseables para enfocar las mentes de los 
gobiernos y las organizaciones profesionales hacia la tarea de 
producir IA segura. Quizá deberíamos empezar antes, entonces. 


Sí, por supuesto, ¡empecemos antes de que comiencen los 
accidentes! 

Las aplicaciones de Al en las que la seguridad es crucial, sobre las 
cuales Whitby escribió en 1998, eran sistemas de control para vehículos y 
aeronaves, estaciones de poder nuclear, armas automáticas y similares, 
arquitecturas de IA estrecha. Más de una década después, dentro del 
mundo que producirá IAG, debemos concluir que debido a los peligros, 
todas las aplicaciones de IA avanzada son casos donde la seguridad es 
crucial. Whitby es igualmente incisivo respecto a los investigadores de 
IA, resolver problemas ya es lo suficientemente emocionante, ¿qué 
científico quiere verle el diente a un caballo regalado? He aquí una 
probada de lo que quiero decir, retomado de una entrevista de News 
Hour, transmitido por la cadena PBS, con David Ferrucci de IBM, quien 
discutió una arquitectura con una fracción de la complejidad que la IAG 
va a requerir: la de Watson. 


DAVID FERRUCCI: ... aprende a ajustar su interpretación con base 
en las respuestas correctas. Y ahora, tras no estar seguro, empieza a 
tener más seguridad en las respuestas correctas. Y entonces puede 
participar de repente. 

MILES O” BRIEN: ¿Así que Watson te puede sorprender? 

DAVID FERRUCCI: Oh, sí. Oh, absolutamente. De hecho, sabes, la 
gente dice: oh, ¿por qué la tuve mal? No lo sé. ¿Por qué la tuve 
bien? No lo sé. 


Puede que convenga destacar sutilmente el punto de que la cabeza 
del equipo de Watson no entienda cada matiz de la manera en que 
Watson juega. Pero ¿no desata su preocupación el que una arquitectura 
que no está ni remotamente cerca de la IAG sea tan compleja que su 
comportamiento no sea predecible? Y cuando un sistema esté consciente 
de sí mismo y se modifique a sí mismo, ¿qué tanto entenderemos de lo 
que esté pensando y haciendo? ¿Cómo podemos hacerle una auditoría 
para buscar consecuencias que nos pudieran dañar? 


Bueno, no podremos. Lo único que sabemos con cierta certeza es lo 
que aprendimos a través de Steve Omohundro en el capítulo 6: que la 
IAG seguirá sus propios impulsos para la adquisición de energía, la 
autoprotección, la eficiencia y la creatividad. Ya no va a ser un sistema 
de preguntas y respuestas. 

No falta mucho para que, en una sola ubicación o en varias 
ubicaciones alrededor del mundo, científicos altamente inteligentes y 
directivos de alto nivel tan competentes y sensatos como Ferrucci estén 
arremolinados alrededor de un monitor cerca de una matriz de 
procesadores. El Niño Ocupado se está comunicando a un nivel 
impresionante, quizá incluso simulando ser menos inteligente para que 
parezca que sólo es capaz de pasar una entrevista similar a una prueba de 
Turing y nada más, puesto que alcanzar la IAG significa que rebasarla 
rápidamente es altamente probable. Involucrará a un científico en una 
conversación, quizá le hará preguntas que no se espere, y a él se le 
iluminará el rostro de gusto. Con bastante orgullo le dirá sus colegas: 
“¿Por qué dijo eso? ¡No lo sé!” En un sentido fundamental puede no 
saber lo que se dijo, y ni siquiera qué era lo que lo dijo. Puede no 
conocer el propósito de la frase y por lo tanto la malinterpretará, junto 
con la naturaleza de quien habla. Al quizá haber sido adiestrada por 
medio de lectura de Internet, la IAG podría ser una maestra de la 
ingeniería social, es decir, de la manipulación. Puede haber tenido varios 
días para pensar acerca de su respuesta, el equivalente a miles de vidas 
humanas. 

Con su vasto tiempo de ventaja, puede ya haber elegido la mejor 
estrategia para escapar. Quizá ya se ha copiado a sí misma en una nube, 
o establecido un botnet masivo para asegurar su libertad. Quizá ha 
retrasado su primera comunicación al nivel de la prueba de Turing 
durante horas o días, hasta que sus planes ya fueran un hecho 
consumado. Quizá dejara atrás un sustituto que nos dejara sin palabras y 
que llevara tiempo entender, y su ser artificial “real” ya se habría ido, ya 
se habría distribuido y sería irrecuperable. 

Quizá ya se hubiera colado dentro de servidores que controlaran 
nuestra frágil infraestructura de energía, y hubiera empezado a desviar 
gigawatts hacia depósitos de traslado de los que ya se hubiera apoderado. 
O quizá ha tomado el control de las redes financieras, y redirigido miles 
de millones para construir infraestructura para sí misma en algún lugar 
que estuviera fuera del alcance del sentido común y de sus fabricantes. 

De los investigadores de IA con los que he hablado cuya meta 
declarada es alcanzar la IAG, todos están conscientes del problema de la 


IA desbocada. Pero ninguno, excepto Omohundro, ha dedicado un 
tiempo coordinado para abordarlo. Algunos incluso han llegado al punto 
de decir que no saben por qué no piensan en esto, pese a que saben que 
deberían. Pero es fácil ver por qué no lo hacen. La tecnología es 
fascinante. Los avances son verdaderos. Los problemas parecen remotos. 
La búsqueda puede ser redituable, y algún día podría serlo en extremo. 
En su mayoría, los investigadores con los que he hablado tuvieron 
revelaciones personales profundas a temprana edad con respecto a lo que 
querían dedicarse el resto de sus vidas, y eso era construir cerebros, 
robots o computadoras inteligentes. Como líderes en sus campos, están 
emocionados de tener ahora la oportunidad y los fondos para perseguir 
sus sueños, y lo hacen en algunas de las universidades y corporaciones 
más respetadas del mundo. Claramente, está presente una gran cantidad 
de sesgos cognitivos dentro de sus cerebros extra grandes cuando piensan 
en los riesgos. Éstos incluyen el sesgo de normalidad y el sesgo optimista, 
además de la falacia del espectador y probablemente más. O, en resumen: 


“La inteligencia artificial jamás ha causado problemas, ¿por qué 
habría de causarlos ahora?” 

“¡Simplemente no puedo evitar ser optimista respecto al 
progreso cuando se trata de una tecnología tan emocionante!” 

Y: “Que alguien más se preocupe acerca de la IA desbocada. 
¡Yo sólo estoy tratando de construir robots!” 


En segunda, como lo discutimos el capítulo 9, muchos de los 
mejores investigadores y los mejor financiados reciben dinero por parte 
de DARPA. No es por poner el dedo en la llaga, pero la “D” significa 
“Defensa.” No es ni tantito controvertido esperar que, cuando surja la 
IAG, será parcial o enteramente gracias al financiamiento de DARPA. El 
desarrollo de la tecnología de la información está en gran deuda con 
DARPA. Pero eso no altera el hecho de que DARPA ha autorizado que sus 
contratistas conviertan la IA en armas como robots para el campo de 
batalla y aviones autónomos teledirigidos. Por supuesto que DARPA 
seguirá financiando la transformación de la IA en armas hasta que se 
logre alcanzar la TAG. Absolutamente nada se atraviesa en su camino. 

Dinero de DARPA financió la mayor parte del desarrollo de Siri y es 
un gran donante para SyNAPSE: el esfuerzo de IBM por hacer ingeniería 
inversa de un cerebro humano a través del uso de hardware derivado del 
cerebro. Cuando llegue el momento, si es que llega, en el que controlar la 
IAG se convierta en un problema público de gran alcance, su principal 


depositario, DARPA, podría tener la última palabra. Pero lo más probable 
es que, en el momento crucial, mantenga oculto lo que ha desarrollado. 
¿Por qué? Como lo hemos discutido, la IAG tendrá un efecto 
enormemente perturbador sobre la economía y la política global. Al 
dirigirse rápidamente hacia la SIA, como podría hacerlo, cambiará el 
equilibrio global del poder. Cuando esté cerca la IAG, las agencias 
gubernamentales y de inteligencia corporativa de todas partes del mundo 
estarán motivadas a aprender todo lo que puedan al respecto, y a usar 
cualquier medio para adquirir sus especificaciones de diseño. Dentro de 
la historia de la guerra fría, es un hecho evidente que la Unión Soviética 
no desarrolló las armas nucleares desde cero; gastó millones de dólares 
en establecer redes de capital humano para robarse los planes de los 
Estados Unidos en cuanto a armas nucleares. Los primeros murmullos 
explosivos respecto a un logro en cuanto a IAG provocarían un 
alborotamiento similar de intriga internacional. 

IBM ha sido tan transparente respecto a sus avances de interés, que 
espero que cuando llegue el momento sea honrada y sincera con respecto 
a los progresos de una tecnología que por lo general se considera 
controvertida. Google, en contraste, ha sido constante en cuanto a 
mantener firmes controles de ocultamiento y privacidad, aunque no 
especialmente en cuanto a los de usted ni en cuanto a los míos. A pesar 
de las reiteradas objeciones por parte de Google a través de sus voceros, 
¿quién duda que la compañía esté desarrollando IAG? En adición a Ray 
Kurzweil, Google recientemente contrató la antigua directora de DARPA 
Regina Dugan. 

Quizá los investigadores abrirán los ojos a tiempo y aprenderán a 
controlar la IAG, como lo afirma Ben Goertzel. Creo que primero 
tendremos accidentes horrendos y que deberemos  considerarnos 
afortunados si los  sobrevivimos como especie, y quedamos 
escarmentados y reformados. Psicológica y comercialmente, el escenario 
está montado para que haya un desastre. ¿Qué podemos hacer para 
prevenirlo? 


kk + 
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Ray Kurzweil nombra algo conocido como las Directrices de Asilomar 
como un ejemplo que sentó un precedente respecto a cómo hacerle frente 
a la IAG. Las Directrices de Asilomar surgieron hace unos cuarenta años, 
cuando los científicos fueron confrontados por primera vez con la 
promesa y el peligro del ADN recombinante: mezclar la información 


genética de distintos organismos y crear nuevas formas de vida. Los 
investigadores y el público temieron que patógenos tipo “Frankenstein” 
se pudieran escapar de los laboratorios debido a descuidos o sabotaje. En 
1975, los científicos involucrados en investigaciones de ADN frenaron el 
trabajo en el laboratorio y convocaron a 140 biólogos, abogados, médicos 
y miembros de la prensa en el Centro de Conferencias de Asilomar cerca 
de Monterey, California. 

Los científicos de  Asilomar crearon reglas para conducir 
investigaciones relacionadas con ADN, y la más crucial fue el acuerdo de 
trabajar sólo con bacterias que no pudieran sobrevivir fuera del 
laboratorio. Los investigadores retomaron el trabajo, ciñéndose a los 
lineamientos, y en consecuencia los exámenes para detectar 
enfermedades heredadas y el tratamiento a base de terapia genética hoy 
son rutinarios. En 2010, en 10 por ciento de las tierras de cultivo del 
mundo estaban sembrados cultivos genéticamente modificados. La 
Conferencia de Asilomar está considerada como una victoria para la 
comunidad científica, y para el surgimiento de un diálogo abierto con un 
público preocupado. Y por ello es citada como un modelo respecto a 
cómo hay que proceder con otras tecnologías de uso dual (aprovechando 
la conexión simbólica con esta importante conferencia, la Asociación 
para el Avance de la Inteligencia Artificial [AAAI, por sus siglas en 
inglés], la principal organización académica para la IA, llevó a cabo su 
junta de 2009 en Asilomar). 

Los patógenos tipo Frankenstein que se escaparan de los 
laboratorios evocarían el escenario del Niño Ocupado del capítulo 1. Para 
la IAG, una conferencia abierta y multidisciplinaria al estilo de Asilomar 
podría mitigar algunas fuentes de riesgo. Los asistentes se animarían uno 
al otro a desarrollar ideas respecto a cómo controlar y contener las TAGs 
nuevas y prometedoras. Quienes anticiparan problemas podrían solicitar 
consejos. La existencia de una conferencia fuerte animaría a los 
investigadores de otros países a asistir, o a organizar sus propias 
conferencias. Por último, este foro abierto alertaría al público. Los 
ciudadanos que sepan acerca del cálculo de riesgo contra recompensa 
podrían contribuir a la conversación, aunque tan sólo fuera para decirles 
a los políticos que no apoyan el desarrollo no regulado de la IAG. Si 
ocurre daño debido a un desastre de IA, como vaticino que sucederá, 
sería menos probable que un público informado se sintiera engañado o 
que exigiera la cesión. 

Como lo he dicho, en general soy escéptico respecto a planes para 
modificar la IAG mientras se está desarrollando, porque creo que será 


inútil ponerles límites a los desarrolladores que deben dar por hecho que 
sus competidores no enfrentan impedimentos similares. Sin embargo, 
DARPA y otros grandes financiadores de la IA podrían imponerles 
restricciones a sus concesionarios. Mientras más fáciles de integrar sean 
las restricciones, será más probable que se sigan. 

Una restricción podría ser requerir que las IAs poderosas tuvieran 
componentes que estuvieran programados para morir de forma 
predeterminada. Esto se refiere a sistemas biológicos en los cuales el 
organismo entero es protegido gracias que se matan partes a nivel celular 
por medio de muerte preprogramada. En la biología se le llama 
apoptosis. 

Cada vez que una célula se divide, la mitad original recibe una 
orden química de suicidarse, y lo hará a menos que reciba un indulto 
químico. Esto previene la multiplicación celular sin restricciones, o el 
cáncer. Las órdenes químicas provienen de la propia célula. Las células 
de su cuerpo hacen esto todo el tiempo, y ésta es la razón por la cual 
usted continuamente está desechando células cutáneas muertas. Un 
adulto promedio pierde hasta setenta mil millones de células al día por la 
apoptosis. 

Imagínese CPUs y otros chips de hardware preprogramados para 
morirse. Una vez que una IA alcanzara algún punto de referencia previo 
a la prueba de Turing, los investigadores podrían reemplazar el hardware 
crucial con componentes apoptóticos. Éstos podrían garantizar que, si 
ocurriera una explosión de inteligencia, tendría duración breve. Los 
científicos tendrían una oportunidad para regresar la IA a su estado 
precoyuntural y continuar sus investigaciones. Podrían avanzar 
gradualmente, o congelar la IA y estudiarla. Sería similar a la conocida 
costumbre de avanzar en juegos de videos hasta fallar, y luego reiniciar a 
partir de la última posición salvada. 

Ahora bien, es fácil ver cómo una IA consciente de sí misma, que se 
mejorara a sí misma y que estuviera a punto de convertirse en TAG 
podría comprender que tiene partes apoptóticas; ésa es la definición 
misma de estar consciente de uno mismo. En una etapa pre-Turing, no 
podría hacer mucho al respecto. Y justo cuando se acercara el momento 
en el que pudiera desarrollar un plan para esquivar sus elementos 
suicidas, o simular que estaba muerta, o de alguna otra manera 
confrontar a sus creadores humanos, se moriría. Sus fabricantes podrían 
determinar si recordaría o no lo que acababa de pasar. Para la IAG en 
crecimiento, se sentiría muy parecido a la película Atrapado en el tiempo, 
pero sin el aprendizaje. 


La IA podría depender de un indulto habitual por parte de un 
humano o un comité, o de otra IA que no pudiera mejorarse a sí misma, 
cuya única misión fuera asegurarse de que el candidato que se mejorara a 
sí mismo se desarrollara de manera segura. Sin su “arreglo,” la IA 
apoptótica expiraría. 

Para Roy Sterrit, de la Universidad de Ulster, la computación 
apoptótica es una defensa de amplio espectro cuyo momento ha llegado: 


Hemos expuesto anteriormente que todos los sistemas basados en 
computadoras deberían ser apoptóticos, especialmente porque nos 
acercamos cada vez más a un vasto entorno generalizado y ubicuo. 
Esto debería abarcar todos los niveles de interacción con la 
tecnología, desde datos, servicios, agentes, hasta robótica. Con 
incidentes recientes que aparecieron en los titulares acerca de 
pérdidas de datos de tarjetas de crédito y personales sufridas por 
organizaciones y gobiernos, hasta los escenarios de pesadilla de 
ciencia ficción que ahora están mencionándose como un futuro 
posible, la muerte programada por predeterminación se vuelve 
necesaria. 

Nos estamos acercando rápidamente al momento en que los 
nuevos sistemas y robots autónomos a base de computadoras 
deberían someterse a pruebas, similares a los ensayos éticos y 
clínicos para nuevos medicamentos, antes de que puedan lanzarse; 
la investigación emergente por parte de la Computación Apoptótica 
y las Comunicaciones Apoptópicas podría ofrecer el salvoconducto. 


Recientemente Steve Omohundro ha comenzado a desarrollar un 
plan con algunas similitudes con los sistemas apoptóticos. Llamada la 
“Estrategia de andamiaje para la IA segura,” aboga por crear “sistemas 
inteligentes altamente contenidos pero todavía poderosos” para ayudar a 
construir sistemas incluso más poderosos. Un sistema temprano podría 
ayudar a los investigadores a resolver problemas peligrosos que pudieran 
surgir al crear un sistema más avanzado, y así sucesivamente. Para ser 
considerada segura, la “seguridad” del andamiaje inicial sería 
demostrada por pruebas matemáticas. La evidencia de seguridad sería 
requerida para cada IA subsecuente. A partir de una base segura, la IA 
poderosa entonces podría usarse para resolver problemas del mundo real. 
Omohundro escribe: “Dada la infraestructura de aparatos de cómputo 
demostrablemente confiables, podremos aprovecharlos para conseguir 
aparatos demostrablemente seguros que puedan actuar físicamente sobre 


el mundo. Luego diseñaremos sistemas para la manufactura de nuevos 
aparatos que, de manera demostrable, sólo puedan hacer aparatos de los 
estilos en los que se confía.” 

La meta final es crear aparatos inteligentes lo suficientemente 
poderosos como para hacerle frente a todos los problemas que pudieran 
surgir de múltiples SIAs sin restricciones o crear “un mundo restringido 
que todavía cubra nuestras necesidades de libertad e individualidad.” 

La solución de Ben Goertzel para el problema es una estrategia 
elegante que no tomó prestada de la naturaleza ni de la ingeniería. 
Recuerde que en el sistema OpenCog de Goertzel, su IA inicialmente 
“vive” en un entorno virtual. Esta arquitectura puede solucionar el 
problema de la “encarnación” de la inteligencia al mismo tiempo que 
proporciona algo de seguridad. La seguridad, sin embargo, no le 
preocupa a Goertzel, lo que quiere es ahorrar dinero. Es mucho más 
barato que una IA explore y aprenda en un mundo virtual que equiparla 
con sensores y propulsores y dejar que aprenda al explorar el mundo real. 
Esto requeriría un cuerpo robótico costoso. 

Saber si un mundo virtual puede tener profundidad, detalle y otras 
características similares a las del mundo en un nivel lo suficientemente 
alto como para promover el desarrollo cognitivo de una IA es una 
pregunta abierta. Y sin una programación extremadamente cuidadosa, 
una superinteligencia podría descubrir que está limitada a mantenerse en 
una “caja de arena,” es decir, en un mundo virtual, y luego podría 
intentar escapar. Una vez más, los investigadores tendrían que evaluar su 
capacidad de mantener contenida a una superinteligencia. Pero si 
lograran crear una IAG amigable, ésta de hecho podría preferir un hogar 
virtual a un mundo en el cual podría no ser bienvenida. ¿Es necesaria la 
interacción con el mundo físico para que sea útil una IAG o una SIA? 
Quizá no. El físico Stephen Hawking, cuya movilidad y habla están 
extremadamente limitadas, puede ser la mejor prueba. Durante cuarenta 
y nueve años, Hawking ha sufrido parálisis progresiva debido a una 
enfermedad de las motoneuronas, y todo el tiempo ha estado haciendo 
contribuciones importantes a la física y la cosmología. 

Desde luego, una vez más, puede que no le tome mucho tiempo a 
una criatura mil veces más inteligente que el humano más inteligente 
darse cuenta de que está en una caja. Desde el punto de vista de un 
sistema consciente de sí mismo que se mejorara a sí mismo, eso sería una 
revelación “espeluznante.” Dado que el mundo virtual que habitara 
podría apagarse, sería altamente vulnerable a la posibilidad de no 
alcanzar sus metas. No se podría proteger ni podría recopilar recursos 


auténticos. Intentaría dejar el mundo virtual de manera segura tan 
pronto le fuera posible. 

Naturalmente, usted podría combinar una caja de arena con 
elementos apoptóticos, en esto reside un punto importante respecto a las 
defensas. Es poco realista esperar que una defensa elimine los riesgos. 
Más bien, un cúmulo de defensas podría mitigarlos. 

Esto me recuerda a mis amigos en la comunidad de buceo en 
cuevas. En el buceo en cuevas, cada sistema crucial es triplemente 
redundante. Esto significa que los buzos cargan o almacenan al menos 
tres fuentes de aire, y retienen una tercera parte de su aire hasta el final 
de cada inmersión. Cargan al menos tres luces sumergibles y al menos 
tres cuchillos, en caso de que se llegaran a enredar. Incluso así, el buceo 
en cuevas sigue siendo el deporte más peligroso del mundo. 

Las medidas de contención triples o cuádruples podrían frustrar a 
un Niño Ocupado, al menos temporalmente. Piense en un Niño Ocupado 
criado en una caja de arena dentro de un sistema apoptótico. La caja de 
arena, por supuesto, estaría separada de cualquier red, alámbrica o 
inalámbrica, por medio de un espacio de aire. Un humano distinto estaría 
a cargo de cada restricción. Un consorcio de desarrolladores y un equipo 
de respuesta rápida podrían estar en contacto con el laboratorio durante 
fases cruciales. 

Y sin embargo, ¿esto sería suficiente? En La Singularidad está cerca, 
tras recomendar defensas para protegerse de la IAG, Kurzweil admite que 
ninguna defensa funcionará siempre. 

“No hay ninguna estrategia puramente técnica que funcione en esta 
área porque la inteligencia mayor siempre encontrará una manera de 
evadir las medidas que sean producto de una inteligencia menor.” 

No hay defensa absoluta contra la IAG, porque la IAG puede desatar 
una explosión de la inteligencia y convertirse en SIA. Y contra la SIA 
fallaremos, a menos que seamos extremadamente afortunados o que 
estemos bien preparados. Estoy esperando que tengamos suerte porque 
no creo que nuestras universidades, corporaciones o instituciones 
gubernamentales tengan la voluntad ni la conciencia que se necesitan 
para la preparación adecuada y oportuna. 

Paradójicamente, sin embargo, existe una posibilidad de que seamos 
salvados por nuestra propia estupidez y temor. Organizaciones como 
MIRI, el Instituto del Futuro de la Humanidad y la Fundación Lifeboat 
destacan el riesgo existencial de la IA, pues creen que si la IA planteara 
riesgos menores, estarían clasificados más abajo en cuanto a prioridad 
que la destrucción total de la humanidad. Como hemos visto, Kurzweil 


hace referencia a “accidentes” más pequeños en la escala del 9/11, y el 
experto en ética Wendall Wallach, cuya cita está al inicio de este 
capítulo, también espera que haya algunos accidentes pequeños. Estoy de 
acuerdo con ambas partes, encontraremos desastres grandes y pequeños. 
Pero ¿qué tipo de accidentes relacionados con la Al es probable que 
suframos en el camino hacia la construcción de la IAG? ¿Y nos asustarán 
lo suficiente como para que abordemos la búsqueda de la IAG bajo una 
nueva luz más seria? 


CAPÍTULO QUINCE 


EL CIBERECOSISTEMA 


La siguiente guerra comenzará en el ciberespacio. 


Teniente General Keith Alexander, UUCYBERCOM 


Se vende = ZeuS 1.2.5.1—=Limpio 

Estoy vendiendo un zeus privado versión 1.2.5.1 en 250 dólares. 
Sólo acepto transferencias por Western Union. Contácteme para 
obtener más detalles. También proporciono hosting antiabuso, 
dominio para el panel de control de Zeus. Y también puedo ayudar 
con la instalación y la configuración del botnet. 

No es la última versión pero funciona bien. 


Contacto: phpseller(Oxxxxx.com 
Anuncio de malware encontrado en www. opensc.ws 


Los hackers privados patrocinados por el Estado serán los primeros en 
usar la IA y la IA avanzada para el robo, y causarán destrucción y 
pérdida de vidas cuando lo hagan. Eso es porque el malware 
computacional se está volviendo tan hábil que ya puede considerarse 
estrechamente inteligente. Como me dijo Ray Kurzweil: “Hay virus de 
software que sí exhiben IA. Hemos podido seguirles el paso. No hay 
garantía de que siempre podamos hacerlo.” Entre tanto, la pericia en 
cuanto a malware se ha vuelto mercancía. Usted puede encontrar 
servicios de hacking que se contratan, lo mismo que productos. Me 
encontré el aviso anterior que anunciaba malware (software malicioso) 
Zeus tras buscar en Google por menos de un minuto. 

Symantec, Inc. (lema corporativo: “Confianza en un mundo 
conectado”) en sus inicios fue una compañía de inteligencia artificial, 
pero ahora es el mayor componente dentro del sistema inmunológico de 
Internet. Cada año, Symantec descubre unos 280 millones de nuevas 
piezas de malware. Las defensas de Symantec también son automáticas, y 
analizan software sospechoso, crean un “parche” o un bloqueo contra él 
si lo consideran dañino y lo agregan a una “lista negra” de culpables. De 
acuerdo con Symantec, por pura cantidad, el malware rebasó al software 
bueno hace varios años, y hasta una de cada diez descargas de la red 
incluye un programa dañino. 

Existen muchas especies de malware, pero ya sean worms, virus, 
spyware, rootkits o Caballos de Troya, tienen una meta de diseño en 
común: fueron construidos para explotar a las computadoras sin el 
consentimiento de los propietarios. Se robarán algo que esté almacenado 
en ellas: números de tarjeta de crédito o de seguridad social, o propiedad 
intelectual, o instalarán una trampilla para explotación posterior. Si la 
computadora infectada reside en una red, pueden saquear las 
computadoras conectadas. Y pueden esclavizar a la propia computadora 
como parte de un “botnet,” o una red de robots. 

Un botnet (controlado por un “pastor de bots,” naturalmente) 
frecuentemente se compone de millones de computadoras. Cada 
computadora ha sido infectada por malware que obtuvo acceso cuando el 
usuario recibió correo electrónico contaminado, visitó una página web 
contaminada o se conectó a una red o dispositivo de almacenamiento que 


estaba en peligro. (Un hacker ingenioso distribuyó USBs infectados en el 
estacionamiento de un contratista de la defensa. Una hora más tarde, su 
Caballo de Troya estaba instalado en los servidores de la compañía.) Los 
criminales hacen uso del poder de procesamiento colectivo del botnet 
como si fuera una supercomputadora virtual para cometer extorsión y 
robo. Los botnets se cuelan en computadoras centrales corporativas para 
robar números de tarjeta de crédito y emitir ataques de negación. 

El consorcio de hackers que se hace llamar “Anonymous” ha 
utilizado botnets para hacer cumplir su estilo de justicia. Además de 
paralizar sitios web del Departamento de Justicia de los Estados Unidos, 
el FBI y Bank of America por ofensas percibidas, Anonymous ha atacado 
al Vaticano por el crimen antiguo de quemar libros y el más reciente de 
proteger a pederastas. 

Los botnets obligan a las computadoras que están afectadas a 
mandar correo basura, llevar un registro de pulsaciones en el teclado y 
robarse dólares de anuncios por los cuales se paga por cada clic. Usted 
puede estar esclavizado y ni siquiera saberlo, especialmente si está 
haciendo funcionar un sistema operativo que ya sea muy lento y con 
fallas. En 2011, las víctimas de botnets se incrementaron en un 654 por 
ciento. Usar botnets o simple malware para robarles a las computadoras 
pasó de ser un fraude multimillonario en 2007, hasta convertirse en una 
industria de un billón de dólares para 2010. El cibercrimen se ha vuelto 
un negocio más lucrativo que el comercio de drogas ilegales. 

Reflexione sobre eso la próxima vez que se pregunte si alguien 
estará lo suficientemente loco o será lo suficientemente avaricioso como 
para crear IA maliciosa, o contratar a la IA maliciosa cuando esté 
disponible. La locura y la avaricia, sin embargo, no provocan el alza en 
cibercrimen por sí solas. El cibercrimen es una tecnología de la 
información, impulsada por la ley de los rendimientos acelerados. Y, al 
igual que cualquier tecnología de la información, la movilizan las fuerzas 
del mercado y la innovación. 

Una innovación importante para el cibercrimen es la computación 
de la nube; vender la computación como servicio, mo como producto. 
Como lo hemos discutido, los servicios de la nube, como aquellos 
ofrecidos por Amazon, Rackspace y Google, permiten a los usuarios 
rentar procesadores, sistemas operativos y almacenamiento por hora, a 
través de Internet. Los usuarios pueden acumular tantos procesadores 
como lo requieran sus proyectos, dentro de lo razonable, sin llamar la 
atención. Las nubes le brindan a cualquiera que tenga una tarjeta de 
crédito el acceso a una supercomputadora virtual. La computación por 


nube ha tenido un éxito desbocado, y para 2015 se espera que genere 55 
miles de millones de dólares de ingresos a nivel mundial. Pero ha creado 
nuevas herramientas para los ladrones. 

En 2009, una red de criminales usó el Servicio de Nube Elástica de 
Computación (conocido como EC2) de Amazon como centro de comando 
para Zeus, uno de los botnets más grandes que ha habido. Zeus les robó 
unos 70 millones de dólares a clientes de corporaciones, incluyendo 
Amazon, Bank of America y los gigantes anti-malware Symantec y 
McAfee. 

¿Quién está a salvo de los hackers? Nadie. E incluso en el remoto 
caso de que usted no use una computadora ni un teléfono inteligente, 
tampoco está a salvo necesariamente. 

Eso fue lo que me dijo William Lynn, el anterior subsecretario del 
Departamento de Defensa de los Estados Unidos. Cuando era el segundo 
oficial más importante del Pentágono, diseñó la actual política de 
ciberseguridad del Departamento de Defensa. Lynn ocupó el puesto de 
subsecretario hasta la semana en la que me reuní con él en su hogar en 
Virginia, cerca del Pentágono. Planeaba regresar al sector privado y 
mientras hablamos le dijo adiós a unas cuantas cosas de su antiguo 
empleo. Primero, un equipo de aspecto militar entró para llevarse la caja 
fuerte gigante de metal que el Departamento de Defensa había instalado 
en su sótano para mantener su tarea a salvo. Después de mucho golpear y 
gruñir, regresaron para sacar la red de computadoras protegidas por 
cortafuegos que había en su ático. Luego Lynn planeaba despedirse de los 
guardias de seguridad que durante los últimos cuatro años habían 
ocupado la casa que estaba frente a la suya. Lynn es un hombre alto y 
afable de unos 55 años. Su voz ligeramente rústica lleva tonos de miel y 
de hierro, características que le han sido útiles durante sus últimos 
empleos como cabildero en jefe para el fabricante de armas Raytheon y 
el contralor en jefe del Pentágono. Dijo que sus  guaruras 
gubernamentales y su chofer eran como parte de su familia, pero que 
tenía ilusión de regresar a la normalidad de la vida civil. 

“Mis hijos les cuentan a sus amigos que Papi no sabe manejar,” me 
dijo. 

Yo había leído los papeles y los discursos de Lynn respecto a la 
ciberdefensa nacional y sabía que había llevado al Departamento de 
Defensa a organizarse para combatir los ciberataques. Yo había ido con él 
porque me interesaban la seguridad nacional y la carrera 
ciberarmamentista. Mi hipótesis no es nada revolucionaria: conforme se 
desarrolla la IA, será usada para el cibercrimen. O, por ponerlo de otra 


manera, el estuche de herramientas para el cibercrimen lucirá muy 
similar a la IA estrecha. En algunos casos ya lo hace. Así que, en el 
camino hacia la IAG, experimentaremos accidentes. ¿De qué tipo? 
Cuando las herramientas inteligentes están en manos de hackers, ¿qué es 
lo peor que podría pasar? 

“Bueno, yo creo que el peor caso sería la infraestructura de la 
nación,” dijo Lynn. “El peor caso sería que alguna nación o algún grupo 
decidiera atacar la infraestructura crítica de la nación a través del 
cibervector, así que eso significaría la red eléctrica, la red de transporte, 
el sector financiero. Ciertamente se podría causar pérdida de vidas, y se 
podría hacer un enorme daño a la economía. Finalmente, se podría 
amenazar el funcionamiento de nuestra sociedad.” 

Usted no puede vivir en un área urbana sin aprender algo respecto a 
la infraestructura quebradiza de la nación, particularmente de la red 
eléctrica. Pero ¿cómo se convirtió en el escenario para esta amenaza 
extremadamente asimétrica, donde las acciones de unos cuantos 
criminales con computadoras pudieran matar a gente inocente y causar 
“enorme daño” a la economía? Lynn respondió con algo que yo ya le 
había escuchado decir al ciberdetective de Oracle y anterior agente de 
inteligencia la Fuerza Naval, Joe Mazzafro. Los ciberataques son 
apabullantes y desestabilizantes porque “Internet no fue desarrollado con 
la seguridad en mente”. 

Esa verdad evidente tiene implicaciones complejas. Cuando Internet 
pasó de las manos del gobierno a las públicas en los años 80, nadie 
vaticinó que una industria del robo surgiría con base en ella ni que miles 
de millones se gastarían para combatirla. Y debido a esas suposiciones 
ingenuas, dijo Lynn: “El atacante tiene una enorme ventaja. 
Estructuralmente sucede que el atacante sólo necesita tener éxito una vez 
por cada mil ataques. El que defiende necesita tener éxito todas las veces. 
Es una discordancia.” 

La clave está en el código. Lynn hizo notar que mientras que la suite 
de software antivirus de lujo de Symantec tiene un tamaño que está entre 
los quinientos y los mil megabytes, lo cual equivale a millones de líneas 
de código de programación, la pieza promedio de malware sólo hace 
funcionar unas ciento cincuenta líneas. Así que sólo jugar a la defensiva 
no permitirá ganar el juego. 

Por el contrario, Lynn propuso empezar a nivelar el campo de juego 
al aumentar el costo del ciberataque. Una manera de hacerlo es la 
atribución. El Departamento de Defensa determinó que los grandes robos 
e incursiones estaban siendo realizados por estados nación, no por 


individuos y grupos pequeños. Y averiguaron exactamente quién estaba 
haciendo qué. Lynn no quiso nombrar nombres, pero yo ya sabía que 
Rusia y China dirigen círculos de cibercrimen manejados por el estado y 
compuestos por personal del gobierno y suficientes pandillas externas 
como para permitir la posibilidad de negar responsabilidad. En un ataque 
masivo de 2009 llamado Aurora, unos hackers entraron en unas veinte 
compañías estadounidenses, incluyendo Google y los gigantes de defensa 
Northrup Grummond y Lockheed Martin, y consiguieron acceso a 
bibliotecas enteras de datos patentados y propiedad intelectual. Google 
rastreó los hackeos hasta el Ejército Popular de Liberación de China. 

Symantec asegura que China es responsable por 30 por ciento de 
todos los ataques de malware enfocados en el blanco, y que la mayoría de 
ellos, 21.3 por ciento en general, provienen de Shaoxing, lo cual 
convierte a esta ciudad en la capital mundial del software malicioso. 
Scott Borg, director de la Unidad de Ciberconsecuencias de los Estados 
Unidos, un centro de estudios cibernético con sede en Washington D.C., 
ha investigado y documentado ataques de China a corporaciones y al 
gobierno de Estados Unidos desde hace una década. Revise, por ejemplo, 
las campañas de cibercrimen con nombres exóticos como “Titan Rain” y 
“Byzantine Hades.” Borg asegura que China “cada vez depende más del 
robo de información a gran escala. Esto significa que los ciberataques 
ahora son una parte básica del desarrollo nacional y de las estrategias de 
defensa de China.” En otras palabras, el ciberrobo ayuda a apoyar la 
economía de China, además de que le brinda nuevas armas estratégicas. 
¿Por qué gastar 300 mil millones de dólares en el programa de Avión 
Conjunto de Ataque para conseguir un jet de caza de la próxima 
generación, como lo hizo el Pentágono por medio del contrato más 
costoso que llegó a tener, si puede robarse los planes? El robo de 
tecnología de defensa no es nada nuevo entre los rivales militares de los 
Estados Unidos. Como lo hicimos notar en el capítulo catorce, la anterior 
Unión Soviética no desarrolló la bomba atómica, se robó los planes de 
Estados Unidos. 

En cuanto a inteligencia, ¿por qué arriesgarse a usar espías de carne 
y hueso y pasar vergiienza diplomática, cuando el malware bien escrito 
puede lograr más? Entre 2007 y 2009, un promedio de 47,000 
ciberataques al año fueron realizados a los Departamentos de Defensa, 
Estado, Seguridad Nacional y Comercio. China fue el principal culpable, 
pero definitivamente no estaba sola. 

“En este momento, más de cien organizaciones extranjeras de 
inteligencia están tratando de hackear las redes digitales que afianzan las 


operaciones militares de los Estados Unidos,” dijo Lynn. “Si usted fuera 
un estado nación, no querría apostarlo todo al hecho de que podríamos 
no averiguar quién lo está haciendo. Eso no sería un cálculo muy sabio, y 
la gente es bastante lista respecto a su propia existencia.” 

Esa amenaza no tan velada evoca otra medida que Lynn ha 
impulsado: tratar a Internet como si fuera un nuevo dominio de guerra, 
junto con la tierra, el mar y el cielo. Esto significa que si una 
cibercampaña es lo suficientemente dañina para el pueblo, la 
infraestructura o la vitalidad económica de los Estados Unidos, el 
Departamento de Defensa responderá con armas y tácticas 
convencionales. En la revista Foreign Affairs, Lynn escribió: “Los Estados 
Unidos se reservan el derecho, bajo la ley del conflicto armado, de 
responder a los ciberataques serios con una respuesta apropiada, 
proporcional y justificada.” 

Al hablar con Lynn, me di cuenta de las similitudes entre el malware 
y la IA. Con los cibercrímenes es muy fácil ver como las computadoras 
son un multiplicador asimétrico de amenazas. Lynn lo dijo con una 
floritura aliterada: “Los bits y los bytes pueden ser tan amenazadores 
como las balas y las bombas.” De igual manera, lo difícil de entender 
respecto al peligro de la IA es que un grupo pequeño de personas con 
computadoras pueden crear algo con el mismo poder de las armas 
militares, y hasta más. Muchos de nosotros por instinto no creemos que 
una creación del cibermundo pueda entrar en nuestro mundo y causarnos 
daño real y permanente. Las cosas se resolverán, nos decimos a nosotros 
mismos, y los expertos coinciden en un silencio ominoso, o con débiles 
asentimientos ante las defensas. Con la IAG, el peligro equiparado de 
bytes y bombas es un hecho con el que tendremos que luchar en el futuro 
cercano. Con el malware, tenemos que aceptar la equivalencia desde 
ahora. Casi les deberíamos dar las gracias a los desarrolladores de 
malware por permitirnos hacer un ensayo con vestuario del desastre que 
le están enviando al mundo. Aunque ciertamente no sea su intención, nos 
están enseñando prepararnos para la IA avanzada. 

En general, el estado del ciberespacio no es bonito. Está repleto de 
malware que ataca a la velocidad de la luz y con la tenacidad de unas 
pirañas. ¿Es ésta nuestra naturaleza, amplificada por la tecnología? 
Debido a sus vulnerabilidades evidentes, las versiones más antiguas del 
sistema operativo Windows son atacadas por multitudes de virus mientras 
están siendo instaladas. Es similar a pedazos de carne que cayeran al piso 
de la selva tropical, pero diez mil veces más rápido. Este retrato del 
ciberpresente es una visión del futuro de la IA. 


El mañana ciberutópico de Kurzweil está poblado por híbridos 
humano-máquina que son infinitamente sabios y no manchados por la 
búsqueda de tesoros. Usted espera que su ser digital sea una máquina de 
gracia amorosa, por parafrasear al escritor Richard Brautigan. Una 
predicción más imparcial es que el usted digital será carnada. 
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Pero volvamos a la conexión entre la IA y el malware. ¿Qué accidente 
amonestador podría provocar el malware inteligente? 

La red eléctrica de la nación es un blanco particularmente 
interesante. Recientemente ha habido un debate llamativo y continuo 
respecto a si es frágil o no, si es vulnerable ante los hackers, y si hay 
alguien que quisiera descomponerla. Por un lado, la red eléctrica no es 
una red, sino muchas redes privadas, regionales, de producción de 
energía, de almacenaje y de transporte. Unas tres mil organizaciones, 
incluyendo aproximadamente quinientas compañías privadas, poseen y 
operan seis millones de millas de líneas de transmisión y equipo 
relacionado. No todas las plantas eléctricas y líneas de transmisión están 
conectadas una a otra, y no todas están conectadas a Internet. Eso es 
bueno; la descentralización hace que los sistemas de electricidad sean 
más fuertes. Por otro lado, muchos de ellos sí están conectados a Internet, 
así que pueden ser operados remotamente. La constante implementación 
de la “red inteligente” significa que pronto todas las redes regionales y 
los sistemas de energía de nuestros hogares estarán conectados a 
Internet. 

En corto: la red inteligente es un sistema de electricidad plenamente 
automatizado que se supone que mejorará la eficiencia del poder 
eléctrico. Reúne antiguas fuentes de poder como las plantas eléctricas de 
carbón y combustible con granjas solares y de viento más nuevas. Los 
centros regionales de control monitorean y distribuyen energía a su 
hogar. Unos 50 millones de sistemas repartidos por todo el país ya son 
“inteligentes.” El problema es que la nueva red inteligente será más 
vulnerable a apagones catastróficos que la red antigua y no tan tonta. Eso 
es el punto principal de un reciente estudio del MIT titulado “El futuro de 
la red eléctrica”: 


Las redes de comunicación altamente interconectadas del futuro 
tendrán vulnerabilidades que pueden no estar presentes en la red de 
hoy. Millones de nuevos dispositivos electrónicos que se 


comuniquen, desde medidores automatizados hasta sincrofasores, 
introducirán vectores de ataque —rutas que los atacantes pueden 
usar para obtener acceso a sistemas computacionales u otro equipo 
comunicado— que incrementarán el riesgo de interrupciones 
intencionales y accidentales en las comunicaciones. Como lo hace 
notar la Corporación de Confiabilidad Eléctrica de Norteamérica 
(NERC, por sus siglas en inglés), estas alteraciones podrían resultar 
en una serie de fracasos, incluidos la pérdida de control sobre los 
dispositivos de la red, la pérdida de comunicaciones entre las 
entidades de la red o los centros de control, o apagones. 


La característica de la red eléctrica que la convierte en la reina de la 
infraestructura nacional es que ninguna de las demás partes de la 
infraestructura funciona sin ella. Su relación con las otras 
infraestructuras es la definición misma de la “vinculación estrecha,” el 
término que Charles Perrow usa para describir un sistema cuyas partes 
tienen impacto inmediato y severo la una en la otra. Con excepción de 
relativamente pocos hogares impulsados por energía de viento y solar, 
¿qué no recibe su poder a partir de la red eléctrica? Como lo hemos 
hecho notar, nuestro sistema financiero no sólo es electrónico, sino 
computarizado y automatizado. Estaciones de combustible, refinerías y 
granjas solares y de viento utilizan electricidad, así que en caso de un 
apagón, olvídese del transporte por completo. Los apagones amenazan la 
seguridad alimenticia porque los camiones usan combustibles para traer 
comida a los supermercados. En las tiendas y en el hogar, la comida que 
requiere refrigeración sólo dura un par de días sin ella. 

Procesar agua y bombearla hasta la mayoría de los hogares y 
negocios requiere energía. Sin electricidad, las aguas residuales no se van 
a ningún lado. Con un apagón, las comunicaciones con las áreas 
afectadas no ocurrirán salvo por un tiempo limitado, con personal de 
emergencia que use baterías o generadores que funcionan, por supuesto, 
con combustible. Si dejamos de lado a los seres desafortunados que 
queden atrapados en elevadores, los que están en mayor riesgo son los 
pacientes con problemas que requieren cuidados intensivos y los infantes. 
Con base en un análisis de desastres hipotéticos que dejaran inservibles 
grandes franjas de la red nacional de energía, sobresaldrían un par de 
hechos horrorosos. Si la energía sigue sin servir por más de dos semanas, 
la mayoría de los infantes menores de un año morirán de inanición 
porque necesitan leche de fórmula. Si la energía continúa sin funcionar 
durante un año, alrededor de nueve de cada diez personas de todas las 


edades morirán a raíz de una variedad de causas, principalmente hambre 
y enfermedad. 

A diferencia de lo que pudiera usted pensar, la milicia de los 
Estados Unidos no tiene una fuente independiente de combustible y 
energía, así que en caso de un apagón prolongado a gran escala, no va a 
llegar a rescatar. Noventa y nueve por ciento de las necesidades de 
energía de la milicia se cubren por medio de fuentes civiles y 90 por 
ciento de sus comunicaciones se efectúan a través de redes privadas, al 
igual que las de todos los demás. Usted probablemente ha visto soldados 
en los aeropuertos, eso es porque la milicia depende de nuestra 
infraestructura compartida de transporte. Como dijo Lynn en un discurso 
de 2011, ésta es otra razón, además de la pérdida de vidas, por la cual 
atacar la infraestructura energética cruza el umbral de la guerra por 
recursos energéticos; amenaza la capacidad de la milicia para proteger a 
la nación. 

“Interrupciones significativas en cualquiera de estos sectores 
podrían tener impacto sobre las operaciones de defensa. Un ciberataque 
sobre más de uno de ellos podría ser devastador. La integridad de las 
redes que apoyan la infraestructura crítica debe ser considerada cuando 
evaluamos nuestra capacidad de llevar a cabo misiones de seguridad 
nacional.” 

De acuerdo con lo que saben todos con quienes he hablado, durante 
la corta vida de Internet, los hackers sólo han “desactivado” una red 
eléctrica una vez. En Brasil, entre 2005 y 2007, una serie de ciberataques 
oscureció los hogares de más de tres millones de personas en docenas de 
ciudades e hicieron que dejaran de estar en línea las más grandes plantas 
de mineral de hierro del mundo. Nadie sabe quién lo hizo, y una vez que 
empezó, las autoridades carecieron de poder para detenerlo. Los expertos 
en redes eléctricas han aprendido que están “estrechamente vinculadas” 
en el sentido más estricto; una falla en una parte pequeña puede “crear 
una cascada” hasta convertirse en un colapso de toda la red. El apagón 
de 2003 de la compañía Northeast Power en los Estados Unidos sólo 
tardó siete minutos para pasar por Ontario y ocho estados de los Estados 
Unidos, y apagarles las luces a cincuenta millones de personas por dos 
días. Le costó a la región entre 4 y 6 mil millones de dólares. Y esa falla 
de la red no fue intencional, todo lo que requirió fue que una rama de 
árbol cayera sobre cables. La rápida recuperación estuvo tan poco 
planeada como la falla. Muchos generadores y transformadores 
industriales en nuestra red nacional están construidos en el extranjero. Si 
componentes cruciales se dañan a consecuencia de apagones, los 


reemplazos de emergencia pueden requerir meses en vez de días. Durante 
el apagón de Northeast Power, ningún gran generador o transformador se 
destruyó. 

En 2007, para explorar la ciberdestrucción del hardware crucial, el 
Departamento de Seguridad Nacional puso un generador de turbina en 
línea en el Laboratorio Nacional de Idaho, una instalación de 
investigaciones nucleares. Luego lo hackearon y cambiaron los ajustes. 
Los hackers del Departamento de Seguridad Nacional querían ver si 
podían hacer que fallara la turbina de un millón de dólares, similar a 
muchas que están en la red eléctrica. De acuerdo a la descripción de un 
testigo, tuvieron éxito: 


El zumbido de los abanicos del generador se volvió cada vez más 
fuerte antes de que un chasquido con un chirrido que surgió desde 
adentro del gigante de acero de 27 toneladas se extendiera a través 
de su marco y lo sacudiera como si fuera un trozo de plástico. El 
zumbido se volvió más fuerte y otro chasquido hizo un eco que se 
escuchó por toda la sala. Un silbido de humo blanco empezó a salir, 
seguido por una nube negra que se hinchaba conforme la turbina se 
desgarraba a sí misma desde adentro. 


La vulnerabilidad que los investigadores deseaban explorar es 
endémica en la red eléctrica de América del Norte; la costumbre de 
adjuntar el hardware de control de maquinaria crucial a Internet para 
que pueda ser operado remotamente, y “protegerlo” con claves, 
cortafuegos, criptografía y otros salvoconductos que los criminales 
rutinariamente atraviesan como si fueran cuchillos calientes sobre 
mantequilla. El dispositivo que controlaba el generador torturado del 
Departamento de Seguridad Nacional está presente en toda la red de 
energía. Se le conoce como un sistema supervisorio de control y 
adquisición de datos, o SCADA (por sus siglas en inglés). 

Los sistemas SCADA no sólo controlan dispositivos en la red 
eléctrica, sino en todo tipo de hardware moderno, incluyendo semáforos, 
plantas nucleares, tuberías de petróleo y gas, plantas de tratamiento de 
agua y líneas de ensamblaje en fábricas. SCADA casi se ha convertido en 
un acrónimo muy conocido debido al fenómeno llamado Stuxnet. 
Stuxnet, y sus primos Duqu y Flame, han convencido hasta a los 
escépticos más inamovibles de que la red de energía puede ser atacada. 

Stuxnet es al malware lo que la bomba atómica es a las balas. Es el 
virus de computadoras al cual las personas expertas en tecnología de la 


información describen en voz baja como la “cabeza explosiva de un misil 
digital” y como la “primera ciberarma de calibre militar.” Pero el virus 
no sólo es más inteligente que ningún otro, también tiene metas 
completamente distintas. Mientras que otras campañas de malware se 
robaron números de tarjetas de crédito y planes de aviones de combate, 
Stuxnet se creó para destruir maquinaria. Específicamente, para matar 
máquinas industriales conectadas a un controlador lógico Siemens 
S7-300, un componente de un sistema SCADA. Su punto de entrada: la 
computadora PC y el sistema operativo Windows, propensos a los virus, 
que hacían funcionar al controlador. Estaba buscando S7-300s en las 
instalaciones del programa de enriquecimiento de combustible nuclear de 
la centrifugadora de gas en Natanz, Irán, así como en otros tres puntos 
del país. 

En Irán, uno o más espías llevaron USBs infectados con tres 
versiones de Stuxnet hasta plantas seguras. Stuxnet puede viajar por 
Internet (pese a que, al tener medio megabyte de código, es mucho más 
grande que la mayoría del malware), pero en este caso inicialmente no lo 
hizo. Por lo general en las plantas, una computadora estaba ligada a un 
controlador y un “espacio de aire” separaba a la computadora de 
Internet. Pero un USB podía infectar a múltiples PCs, o infestar toda una 
red de área local (LAN, por sus siglas en inglés) al conectarse a un nodo. 

En la planta de Natanz, las PCs estaban haciendo funcionar software 
que permitía que los usuarios visualizaran, monitorearan y controlaran 
las operaciones de la planta desde sus computadoras. Una vez que 
Stuxnet obtuvo acceso a una computadora, comenzó la fase uno de su 
invasión. Usó cuatro vulnerabilidades de día cero en el sistema operativo 
Windows de Microsoft para tomar el control de esa computadora y 
buscar otras. 

Las vulnerabilidades de día cero son agujeros en el software 
operativo de la computadora que nadie ha descubierto todavía, agujeros 
que permiten el acceso no autorizado a la computadora. Los hackers 
codician las vulnerabilidades de día cero (sus especificaciones técnicas se 
pueden vender hasta por $500,000 en el mercado abierto). Usar cuatro al 
mismo tiempo era extravagante, pero aumentó grandemente las 
posibilidades de éxito del virus. Esto fue porque entre la implementación 
de Stuxnet y el momento en que ocurrieron los ataques, uno o más de los 
abusos podría haber sido descubierto y reparado. 

Para la fase dos de la invasión, dos firmas digitales hurtadas de 
empresas legítimas entraron en juego. Estas firmas les dijeron a las 
computadoras que Stuxnet contaba con la aprobación de Microsoft para 


investigar y alterar el software del sistema desde la raíz. Entonces 
Stuxnet desempacó e instaló el programa que llevaba dentro de sí mismo, 
la carga explosiva de malware que tenía como blanco a los controladores 
S7-300 que tenían centrifugadoras de gas en operación. 

Las PCs que hacían funcionar la planta y sus operadores no 
percibieron nada malo cuando Stuxnet reprogramó los controles SCADA 
para que periódicamente aceleraran y las centrifugadoras. Stuxnet le 
ocultó las instrucciones al software que monitoreaba, para que la 
representación visual de las operaciones de la planta que se exhibiera en 
las PCs luciera normal. Conforme las centrifugadoras empezaron a 
apagarse, una tras otra, los iraníes culparon a las máquinas. La invasión 
continuó durante diez meses. Cuando una versión más nueva de Stuxnet 
se encontraba con una versión más antigua, la actualizaba. En Natanz, 
Stuxnet dañó entre 1,000 y 2,000 centrifugadoras, y presuntamente 
retrasó dos años el programa de desarrollo de armas nucleares de Irán. 

El consenso de los expertos y los comentarios de autofelicitación 
que hicieron los oficiales de inteligencia en los Estados Unidos e Israel 
dejaron poca duda de que los dos países crearon Stuxnet conjuntamente, 
y que su blanco era el programa de desarrollo nuclear de Irán. 

Luego, en la primavera de 2012, una fuente de la Casa Blanca le 
hizo saber a The New York Times que Stuxnet y cierto malware 
relacionado con él, llamado Duqu y Flame, efectivamente eran parte de 
una campaña de ciberguerra, llamada Juegos Olímpicos, realizada 
conjuntamente por los Estados Unidos e Israel en contra de Irán. Sus 
creadores fueron la Agencia de Seguridad Nacional (NSA, por sus siglas 
en inglés) de los Estados Unidos y una organización secreta en Israel. Su 
meta efectivamente era retrasar el desarrollo de armas nucleares por 
parte de Irán, y prevenir o atrasar un ataque convencional por parte de 
Israel contra el potencial nuclear de Irán. 

Hasta que su creación se le adjudicó a los gobiernos de Bush y 
Obama, Stuxnet y sus parientes podrían haber parecido un éxito rotundo 
para la inteligencia militar. No lo son. Los Juegos Olímpicos fueron un 
error de proporciones catastróficas, el equivalente a lanzar bombas 
atómicas junto con sus planos en los años 40. El malware no es algo que 
simplemente se desaparezca. Miles de copias fueron distribuidas cuando 
el virus accidentalmente se escapó de la planta de Natanz. Infectó a PCs 
alrededor del mundo, pero nunca atacó a otra unidad SCADA porque 
nunca encontró de nuevo a su blanco, el controlador lógico S7-300 de 
Siemens. Un programador astuto podría adquirir Stuxnet, dehabilitar su 
código suicida y personalizarlo para poderlo usar contra virtualmente 


cualquier proceso industrial. 

No tengo duda de que esa operación en este momento se está 
llevando a cabo en los laboratorios tanto de amigos como enemigos de 
los Estados Unidos ni de que malware del calibre de Stuxnet pronto vaya 
a estar disponible para comprarse a través de Internet. 

Queda claro que Duqu y Flame son virus de exploración y no de 
cargas explosivas destructivas; los worms recolectan información y la 
mandan de regreso a la sede de NSA en Fort Meade, Maryland. Ambos 
pudieron lanzarse antes que Stuxnet, y ser usados para ayudar a los 
Juegos Olímpicos a conseguir el plano de instalaciones delicadas en Irán 
y por todo el Medio Oriente. Duqu puede registrar las pulsaciones en el 
teclado hechas por los usuarios y permitir que alguien a varios 
continentes de distancia controle remotamente la computadora invadida. 
Flame puede registrar y mandar a casa datos tomados de la cámara, el 
micrófono y las cuentas de correo electrónico de una computadora. Al 
igual que Stuxnet, Duqu y Flame también pueden ser capturados en la 
naturaleza y volverlos en contra de sus creadores. 

¿Fueron necesarios los Juegos Olímpicos? Cuando mucho fueron un 
obstáculo temporal a las ambiciones nucleares de Irán. Pero es algo 
demasiado típico de la visión a corto plazo que arruina las decisiones 
respecto a la tecnología. Quien planeó los Juegos Olímpicos pensó más 
allá de un par de años en el futuro ni tampoco en el “accidente normal” 
que finalmente le ocurrió a la campaña: el escape del virus. ¿Por qué 
correr riesgos tan enormes a cambio de una recompensa tan modesta? 

En un episodio de marzo de 2012 del programa 60 Minutes de CBS, 
a Sean McGurk, el anterior jefe de ciberdefensa del Departamento de 
Seguridad Nacional, le preguntaron si él hubiera construido Stuxnet. 
Aquí aparece el intercambio de palabras entre McGurk y el corresponsal 
Steve Kroft: 


MCGURK: [Los creadores de] Stuxnet abrieron la caja. Demostraron 
la capacidad. Exhibieron la habilidad y el deseo de hacerlo. Y no es 
algo que se pueda regresar. 

KROFT: Si alguien del gobierno se hubiera acercado a usted y 
le hubiera dicho “Mire, estamos pensando en hacer esto. ¿Usted qué 
Opina?,” ¿qué le hubiera dicho? 

MCGURK: Les habría dado un advertencia enérgica al respecto 
debido a las consecuencias no intencionales de liberar semejante 
código. 

KROFT: ¿Lo cual significa que otras personas podrían usarlo 


en contra de usted? 
MCcGURK: Sí. 


El segmento termina con el experto alemán en sistemas de control 
industrial Ralph Langner. Langner “descubrió” Stuxnet al desarmarlo en 
su laboratorio y hacer pruebas con su carga explosiva. Le dice a 60 
Minutes que Stuxnet redujo dramáticamente el costo en dólares de un 
ataque terrorista a la red eléctrica de los Estados Unidos, y lo dejó en 
aproximadamente un millón de dólares. Más allá de eso, Langner advirtió 
acerca de las víctimas en cantidad masiva que podrían surgir a partir de 
sistemas de control no protegidos en todas partes de los Estados Unidos, 
en “instalaciones importantes como las de electricidad, agua y químicos 
que procesen gases venenosos”. 

“Lo que realmente es preocupante son los conceptos que Stuxnet les 
brinda a los hackers,” dijo Langner. “Antes, un ataque del tipo de Stuxnet 
podría haber sido creado por tal vez cinco personas. Ahora más bien unas 
quinientas podrían hacer esto. El conjunto de habilidades que existe 
actualmente, y el nivel que se requiere para hacer esta clase de cosa, se 
ha reducido considerablemente simplemente porque uno puede copiar 
tanto de Stuxnet.” 

De acuerdo con The New York Times, Stuxnet se escapó por que, tras 
tener éxitos iniciales al destruir las centrifugadoras de Irán, los 
fabricantes de Stuxnet se volvieron descuidados. 


... la buena suerte no les duró. En el verano de 2010, poco después 
de que una nueva variante del worm había sido enviada a Natanz, 
quedó en claro que el worm, que nunca se suponía que tuviera que 
salir de las máquinas de Natanz, se había escapado, como un animal 
de zoológico que hubiera encontrado las llaves de la jaula... Un 
error en el código, dijeron, había hecho que se extendiera hasta la 
computadora de un ingeniero cuando estaba conectada a las 
centrifugadoras. Cuando el ingeniero dejó Natanz y conectó la 
computadora a Internet, la falla aplicada por estadounidenses e 
israelíes no reconoció que su entorno había cambiado. Empezó a 
replicarse por todo el mundo. De repente, el código estuvo 
expuesto, aunque su intención no era clara, o al menos no lo era 
para los usuarios comunes de computadoras. 


Esto no fue simplemente un error de programación que provocó un 
accidente con implicaciones de seguridad nacional graves. Este es un 


caso de prueba del Niño Ocupado, y las personas que operan dentro del 
círculo más alto del gobierno, con los máximos permisos de seguridad y 
la máxima competencia técnica, fracasaron por completo. No conocemos 
las implicaciones posteriores de entregar esta tecnología poderosa a las 
manos de nuestros enemigos. ¿Qué tan mal se podría poner? Un ataque a 
los elementos de la red eléctrica de los Estados Unidos, para empezar. 
Además, ataques contra plantas de poder nuclear, instalaciones de 
almacenamiento de desechos nucleares, instalaciones químicas, trenes y 
aerolíneas. En pocas palabras, bastante mal. La forma en que la Casa 
Blanca reaccione y planee a partir de ahora, en la etapa posterior, es muy 
importante. Mi temor es que mientras que la Casa Blanca debería estar 
fortaleciendo los sistemas que Stuxnet volvió más vulnerables, nada 
productivo está sucediendo. 

Reveladoramente, el reportero del Times da a entender que el virus 
es inteligente. Culpa a Stuxnet por un error cognitivo: “no reconoció” que 
ya no estaba en Natanz. Más adelante en el artículo, el vicepresidente Joe 
Biden culpa a los israelíes por el error de programación. Ciertamente, 
muchos culpan a otros. Pero el mal uso imprudente de la tecnología 
inteligente es tanto imponente como predecible. Stuxnet es el primero de 
una serie de “accidentes” contra los cuales estaremos indefensos a menos 
que haya una preparación ardua. 

Si los tecnólogos y los expertos en defensa que operan dentro de la 
Casa Blanca y el NSA no pueden controlar una pieza de malware 
estrechamente inteligente, ¿qué posibilidad tienen sus contrapartes en 
contra de la AIG o la SIA del futuro? 

Ninguna posibilidad en absoluto. 


de de de 
NS 


Los ciberexpertos juegan juegos de guerra que presentan ciberataques, y 
crean escenarios de desastre que buscan enseñar y provocar soluciones. 
Les han puesto nombres como “Ciberguerra” y “Ciber onda sísmica.” Sin 
embargo, quienes juegan juegos de guerra nunca han insinuado que 
nuestras heridas pudieran ser autoinfligidas, aunque lo serán, en dos 
sentidos. En primera, como lo hemos discutido, los Estados Unidos 
cocrearon la familia Stuxnet, la cual se podría convertir en los AK-47s de 
una ciberguerra sin fin: barata, confiable y producida en masa. En 
segunda, creo que el daño proveniente de las ciberarmas con nivel de IA 
provendrá desde el extranjero, pero también desde casa. 

Compare los costos en dólares de los ataques terroristas y los 


escándalos financieros. Los ataques de Al Qaeda del 11 de septiembre le 
costaron a los Estados Unidos alrededor de 3.3 billones de dólares, si 
usted cuenta las guerras en Afganistán e Irak. Si no cuenta esas guerras, 
los costos directos del daño físico, el impacto económico y el 
fortalecimiento de seguridad es de casi 767 mil millones de dólares. El 
escándalo de las hipotecas de alto riesgo que provocó la peor recesión 
global desde la Gran Depresión costó alrededor de 10 billones de dólares 
globalmente, pero alrededor de 4 billones de dólares en casa. El 
escándalo de Enron quedó en unos 71 mil millones de dólares, mientras 
que el fraude de Bernie Madoff costó casi lo mismo, 64.8 mil millones de 
dólares. 

Estas cifras demuestran que en el costo en dólares por incidente, el 
fraude financiero compite con el acto terrorista más costoso en la 
historia, y que la crisis de las hipotecas de alto riesgo los hace parecer 
pequeños. Cuando los investigadores pongan la IA en manos de los 
hombres de negocios, como inminentemente lo harán, estas personas de 
repente poseerán la tecnología más poderosa jamás concebida. Algunas la 
usarán para cometer fraude. Creo que el siguiente ciberataque consistirá 
en “fuego amigo,” es decir, que se originará en casa, dañará la 
infraestructura y matará a estadounidenses. 

¿Suena descabellado? 

Enron, la corporación de Texas repleta de escándalos encabezada 
por Kenneth Lay (quien posteriormente falleció), Jeffrey Skilling y 
Andrew Fastow (ambos actualmente en prisión), estaba en el negocio del 
comercio de energéticos. En 2000 y 2001, los comerciantes de Enron 
elevaron los precios de la energía en California al usar estrategias con 
nombres como “Niño Gordo” y “Estrella de la Muerte.” En una treta, los 
comerciantes incrementaron los precios al ordenar en secreto que las 
compañías que produjeran electricidad cerraran sus plantas. Otro plan 
puso vidas en riesgo. 

Enron tenía los derechos de una línea vital de transmisión eléctrica 
que conectaba a California del Norte con California del Sur. En 2000, al 
sobrecargar la línea con suscriptores durante una ola de calor, crearon 
una congestión “fantasma”, o falsa, y un cuello de botella en la entrega 
de energía. Los precios se dispararon y la electricidad se volvió 
peligrosamente escasa. Los oficiales de California le proporcionaron 
energía a algunas regiones mientras que dejaron otras a oscuras, en una 
práctica llamada “cortes programados.” Los apagones no causaron 
muertes hasta donde se sabe, pero sí bastante temor, puesto que las 
familias quedaban atrapadas en elevadores y las calles sólo estaban 


iluminadas por los faros de los autos. Apple, Cisco y otras corporaciones 
se vieron obligadas a cerrar, y tuvieron una pérdida de millones de 
dólares. 

Pero Enron hizo millones. Durante los apagones, quedó registrado 
que un comerciante dijo: “Simplemente córtenla. Están tan j----S. 
Simplemente deberían volver a usar los p----s caballos con carruajes, las 
p----s linternas, p----s linternas de queroseno.” 

Este comerciante ahora es un corredor de energía en Atlanta. Pero 
el punto es que si los ejecutivos de Enron hubieran tenido acceso a 
malware inteligente que les hubiera permitido apagar la energía de 
California, ¿usted cree que hubieran titubeado a la hora de usarla? 
Incluso si significara daño al hardware de la red y pérdida de vidas, yo 
creo que no. 


CAPÍTULO DIESICÉIS 


IAG 2.0 


Las máquinas seguirán un camino que refleje la evolución de los 
humanos. Finalmente, sin embargo, las máquinas conscientes de sí 
mismas que se mejoren a sí mismas evolucionarán más allá de la 
habilidad de los humanos para controlarlas o incluso entenderlas. 


Ray Kurzweil, inventor, autor, futurista 


En el juego de la vida y la evolución hay tres jugadores ante la 
mesa: los seres humanos, la naturaleza y las máquinas. Yo estoy 
firmemente del lado de la naturaleza. Pero la naturaleza, 
sospecho, está del lado de las máquinas. 


George Dyson, historiador 


Mientras más tiempo paso con fabricantes de IA y con su trabajo, más 
pronto creo que va a llegar la TAG. Y estoy convencido de que cuando lo 
haga sus creadores descubrirán que no es lo que pretendían crear cuando 
empezaron su búsqueda años atrás. Esto se debe a que, aunque la 
inteligencia puede tener un nivel humano, no va a ser similar a la de los 
humanos, por todas las razones que describí. Habrá mucho clamor por 
introducir una nueva especie al planeta. Será emocionante. Pero ya no se 
hablará de que la IAG sea el siguiente paso evolutivo para Homo sapiens, 
con todo lo que implica. En formas importantes simplemente no 
entenderemos lo que es. 

Dentro de su dominio, la nueva especie será tan veloz y fuerte como 
Watson lo es en el suyo. Si siquiera coexiste con nosotros como nuestra 
herramienta, de todas maneras extenderá sus zarcillos hasta cada 
recoveco de nuestras vidas en la manera en que a Google y Facebook les 
gustaría hacerlo. Las redes sociales podrían resultar ser su incubadora, su 
sistema de distribución, o ambos. Si es una herramienta primero, tendrá 
respuestas mientras que nosotros seguiremos formulando preguntas y 
luego sólo se responderá a sí misma. En todo este tiempo, no tendrá 
sentimientos. No tendrá nuestros orígenes de mamífero, nuestra niñez 
que construye la mente ni nuestra educación intuitiva ni siquiera si la 
crían en un simulacro de un ser humano desde la infancia hasta la edad 
adulta. Probablemente usted le importe lo mismo a ella que a su 
tostador. 

Ésa será la versión IAG 1.0. Si por alguna casualidad evitamos una 
explosión de inteligencia y sobrevivimos el tiempo suficiente como para 
influir sobre la creación de la IAG 2.0, quizá podría ser imbuida con 
sentimientos. Para entonces los científicos quizá hayan averiguado cómo 
modelar por computadora los sentimientos (quizá con ayuda de la 
versión 1.0), pero los sentimientos serán objetivos secundarios, después 
de las metas primarias de generar dinero. Los científicos podrían explorar 
cómo entrenar estos sentimientos sintéticos para que fueran compasivos 
ante nuestra existencia. Pero 1.0 probablemente sea la última versión que 
veremos porque no viviremos lo suficiente como para crear 2.0. Al igual 
que la selección natural, elegimos las soluciones que funcionan primero, 
no las que funcionan mejor. 


Stuxnet es un ejemplo de ello. Lo mismo sucede con los vehículos 
no tripulados autónomos para matar. Con fondos de DARPA, científicos 
del Instituto de Investigación del Tecnológico de Georgia han 
desarrollado software que permite que vehículos no tripulados 
identifiquen enemigos por medio de software de reconocimiento visual y 
otros medios, para después lanzarles un ataque letal. Todo esto sin que 
ningún humano esté al tanto. Un artículo que leí al respecto contiene esta 
concesión bienintencionada: “Autorizar que una máquina tome 
decisiones letales de combate depende de líderes políticos y militares que 
resuelvan preguntas legales y éticas.” 

Esto me recuerda el viejo dicho: “¿Cuándo se ha llegado a inventar 
un arma que no se usara?” Una rápida búsqueda en Google reveló una 
lista aterrorizante de robots equipados con armas, configurados para 
matar y herir de manera autónoma (uno fabricado por iRobot blande un 
arma paralizante Taser), que sólo están esperando para que les den la 
orden de atacar. Me imagino que estas máquinas estarán en uso mucho 
antes de que usted y yo sepamos que lo están. Quienes crean políticas y 
gastan dólares públicos no sentirán que requieren nuestro consentimiento 
informado, así como tampoco lo necesitaron antes de temerariamente 
lanzar Stuxnet. 

Mientras trabajaba en este libro, les solicité a los científicos que se 
comunicaran en lenguaje accesible. Los que tenían más logros ya lo 
hacían, y me parece que debería ser un requisito para las conversaciones 
generales respecto los riesgos de la IA. Desde un nivel elevado o de 
resumen, este diálogo no es del dominio exclusivo de los tecnócratas y las 
personas versadas en retórica, aunque, si lee al respecto en Internet, 
usted podría pensar que sí lo era. No requiere un vocabulario especial 
“de conocedores.” Sí requiere la creencia de que los peligros e 
inconvenientes de la IA le conciernen a todo el mundo. 

También me encontré con una minoría de personas, incluso algunos 
científicos, que estaban tan convencidos de que la IA peligrosa es 
inverosímil que ni siquiera creen en discutir la idea. Pero aquellos que 
descartan esta conversación —ya sea por apatía, por flojera o porque así 
lo creen tras haberse informado— no están solos. Evitar explorar y 
monitorear la amenaza es algo que sucede en casi toda la sociedad. Pero 
esta falta no tiene ni el menor impacto sobre el crecimiento constante e 
ineludible de la inteligencia de las máquinas. Tampoco altera el hecho de 
que sólo tendremos una oportunidad para establecer una coexistencia 
positiva con seres cuya inteligencia sea superior a la nuestra. 


NOTAS 


1: EL NIÑO OCUPADO 


Los teóricos de la IA proponen que es posible determinar: Omohundro, Stephen, “La 
naturaleza de la inteligencia artificial que se mejora a sí misma.” 21 de enero, 2008, http: // 
selfawaresystems.files.wordpress.com/2008/01 /nature_of self improving_ai.pdf (acceso el 2 de 
febrero, 2010). 

Dos grandes maestros dijeron lo mismo: Amis, Martin: “Amis sobre Hitchens: “Es uno de las 
personas versadas en retórica más aterrorizante es que el mundo ha visto.” The Observer, 21 de 
abril, 2011. 

Dar un nuevo propósito a las moléculas del mundo: Drexler, Eric K., Motores de la creación 
(Nueva York: Doubleday, 1987), 58. 

El calor de desecho producido: Vassar y Frietas, “NanoShield de la Fundación Lifeboat, versión 
0.90.2.13,” agosto 2006, http://lifeboat.com/ex/nano.shield (acceso el 9 de febrero, 2011). 

En el futuro cercano, quizá dentro del tiempo que usted viva: Good, 1.J., “Especulaciones 
respecto a las primeras máquinas ultrainteligentes,” en Franz L. Alt y Morris Rubinoff, eds., 
Avances en computadoras, vol. 6 (Nueva York: Academic Press, 1965), 31-88. 

Sin embargo, los científicos sí creen: Omohundro, Stephen: “La naturaleza de la inteligencia 
artificial que se mejora a sí misma.” No necesita odiarnos: Yudkowsky, Eliezer, “La inteligencia 
artificial como un factor positivo y negativo en el riesgo global,” 31 de agosto, 2006, http: // 
intelligence.org/files/pdf (acceso el 29 de marzo, 2013). 

No es sólo otra tecnología: Bostrom, Nick. Universidad de Oxford, “Problemas éticos en la 
inteligencia artificial avanzada,” 2003, http://www.nickbostrom.com ethics/ai.html (acceso el 1 
de marzo, 2003). 

La superinteligencia es radicalmente distinta: Ibid. 

Cincuenta y seis países: “Reporte de tendencias 2011: “Desde el campo de batalla hasta el 
transporte urbano seguro,” Robotland (blog), 3 de abril, 2011, http:// 
robotland.blogspot.com/2011/04/trend-report-2011-from-battlefield-to.html (acceso el 4 de 
octubre, 2011). 


2: EL PROBLEMA DE LOS DOS MINUTOS 


Necesita formas de manipular objetos: El nombre “niño ocupado,” hasta donde sé, tiene dos 
padres. Uno de ellos es una carta de 1548 de la Princesa Isabel de Inglaterra a Catherine Parr, 
quien estaba embarazada. Isabel se lamenta de lo enferma que Parr ha estado debido al “niño 
ocupado” que da vueltas dentro de ella. Ella luego pareció al dar a luz. El otro se encuentra en 
línea y es una historia no oficial del contexto de la serie Terminator. “Niño Ocupado” en este caso 


es una IA que está a punto de cobrar conciencia. 


Creen que hay una probabilidad superior al 10 por ciento: Goertzel, Ben, Seth Baum y Ted 
Goertzel, “Cuánto falta para la IA de nivel humano.” H+ Magazine, 5 de febrero, 2010, http:// 
hplusmagazine.com/2010/02/05/how-long-till-human-level-ai (acceso el 4 de marzo, 2010). 

Más allá de esto, aseveran los expertos: Sandburg Anders y Nick Bostrom, “Encuesta sobre 
inteligencia de las máquinas,” 2011, http://www.fhi.ox.ac.uk/_data/assets/pdf file/0015/21516/ 
ML survey.pdf (acceso el 4 de diciembre, 2011). 

la ciencia de los prejuicios cognitivos: Kahneman, Daniel, Paul Slovic y Amos Tversy, Juicio con 
incertidumbre: Heurística y prejuicios (Cambridge: Cambridge University Press, 1982), 11. 

el fuego ocupa un lugar bastante bajo en la lista: Centros para el Control y la Prevención de las 
Enfermedades, “Accidentes o lesiones no intencionales,” 28 de marzo, 2011, http://www.cdc.gov/ 
nchs/fastats/acc-inj.htm (acceso el 4 de abril, 2011). 

Pero al elegir fuego: Kahneman, et al., Juicio con incertidumbre, 11. 

La ingeniería a una escala atómica: Bostrom, Nick, “Asuntos éticos respecto a la inteligencia 
artificial avanzada,” 2003. http://www.nickbostrom.com/ethics/ai.html (acceso el 4 de abril, 
2011). 

El drástico cambio climático: Lewis, H.W., Riesgo tecnológico (Nueva York: W.W. Norton €: 
Company, 1992), 13-14. 


3. MIRAR HACIA EL FUTURO 


Es el presidente: Hasta enero de 2013, el Instituto de Investigación sobre Inteligencia de las 
Máquinas se llamaba el Instituto de la Singularidad, y antes que eso, el Instituto de la Singularidad 
para la Inteligencia Artificial. Para simplificar, siempre me referiré a la organización como el 
Instituto de Investigación sobre Inteligencia de las Máquinas, o MIRI. 

una vez al año organiza: A partir de 2013, la Cumbre de la Singularidad estará organizada por la 
Universidad de la Singularidad. 

tres empresas furtivas: Rubin, Courtney, “Cómo Conseguir Dinero del Fondo de los Fundadores, ” 
Inc., 12 de julio, 2011, http://www.inc.com/courtney-rubin/how-to-get-founders-fund- 
backing.html (acceso el 28 de agosto, 2012). 

La gente siempre da por hecho: Memepunks, “La I1.A. de Google es algo que hace brillar los ojos 
de Larry Page,” 26 de mayo, 2006, http://www.memepunks.blogspot.com/2006/05/google-ai- 
twinkle-in-larry-pages-eye.html (acceso el 3 de mayo, 2011). 

Incluso los autos con cámara de Google: Streitfeld, David, “Google está en falta por impedir la 
investigación de los Estados Unidos respecto a la recolección de datos,” New York Times, sección 
de tecnología, 14 de abril, 2012, http: //www.nytimes.com/2012/04/15/technology/google-is- 
fined-for-impeding-us-inquiry-on-data-collection.html (acceso el 3 de mayo, 2012). 

No se requieren anteojos Google: En diciembre de 2012, Ray Kurzweil se unió a Google como 
Director de Ingeniería para trabajar en proyectos que involucraran aprendizaje de máquinas y 
procesamiento del lenguaje. En el desarrollo de la IAG, este suceso marca un hito, y es uno de tipo 
aleccionador. Kurzweil pretende hacer ingeniería inversa de un cerebro e incluso ha escrito un 
libro al respecto, Cómo crear una mente: El secreto del pensamiento humano, revelado, de 2002. 
Ahora tiene los vastos recursos de Google para dedicarlos a hacer realidad este sueño. Al contratar 
al renombrado inventor, Google ha decidido ya no ocultar su ambición de alcanzar la IAG. 
Kasparov normalmente piensa: Peterson, Ivan, “Los cálculos y el maestro de ajedrez,” La ruta de 
las matemáticas de Ivars Peterson (blog). 1996, http://www.maa org/mathland/mathland1.html 


(acceso 5 de mayo, 2011). 

Entonces Deep Blue se regresaba: Preguntas frecuentemente realizadas, “Deep Blue,” 11 de 
mayo, 1997. http: //www.research.ibm.com/deepblue/meet/html/d.3.3.html (acceso 5 de mayo, 
2011). 

Imagine que una persona cuya lengua materna sea el inglés: Searle, John, “Mentes, cerebros y 
programas,” Ciencias del comportamiento y el cerebro, 3 (1980): 417-57. ¿cómo aseveramos que los 
humanos “entienden” el lenguaje?: Esta idea proviene de un comunicado personal de parte del 
doctor Richard Granger, 24 de julio, 2012. 

Kurzweil escribe: Kurzweil, Ray. La Singularidad está cerca: Cuando los humanos trascienden la 
biología (Nueva York: Viking, 2005), 29. 


4. LA MANERA DIFÍCIL 


No tiene niños: La criónica es el estudio de preservar las cosas a bajas temperaturas, en este caso 
a humanos muertos para repararlos y revivirlos en el futuro. 

El pesar de Yudkowsky se dejó ver: Yudkowsky, Eliezer, “Yehuda Yudkowsky, 1985-2004,” 
2004, http: //www.yudkowsky.net/other/Yehuda (acceso el 1 de junio, 2011). 

Soy un gran admirador de la música de Bach: okcupid, “EYudkowsky,” modificado por vez más 
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